【文献】
[楽器演奏]パッド譜面Part.1,[online],2019年03月24日,[2021年7月9日検索],インターネット <URL: https://jp.finalfantasyxiv.com/lodestone/character/12933504/blog/4065134/>
(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0017】
以下に、本発明を実施するための形態(実施形態)における演奏装置について説明する。第1の実施形態に係る演奏装置は、演奏装置を保持する演奏者の跳躍(ジャンプ)に応じて音を発する。詳しくは、演奏装置は、跳躍した方角に対応する音高で、跳躍の高さに対応する大きさの、跳躍の距離に対応する長さの音を発する。また、跳躍がその場での跳躍(上への跳躍)である場合には、演奏装置は、演奏者が向いている方角に対応する音高の音を発する。
【0018】
このような演奏装置を保持して跳躍を繰り返して演奏することで、演奏者は、運動や演奏を楽しむことができる。また、演奏者が所有するスマートフォン(端末装置)が演奏装置として機能するプログラムが提供されれば、地面に跳躍の方角や距離を示した楽譜を描くことで遊具を設置したことになり、設置工事や保守点検の費用を低減することができる。また、従来の遊具と比較して楽譜の変更が容易であり、再来園/再来場が期待できるようになる。
【0019】
≪演奏の概要≫
図1は、第1の実施形態に係る演奏装置100を用いた演奏を説明するための図である。演奏装置100を保持した演奏者99が、地面に記された楽譜900に従って跳躍すると、演奏装置100が跳躍に応じた音を発する。楽譜900は、スタート地点である始点901と、音符902〜907と、始点901および音符902〜907の間にあって音符902〜907の順序を示す三角形911〜916とを含む。
【0020】
演奏者99が、始点901から始めて、三角形911〜916に示される順序で音符902〜907に跳躍すると、演奏装置100が、跳躍の方角と高さと距離とを検出して、検出された方角と高さと距離とに応じた音を発する。なお、始点901から音符902に跳躍するとは、演奏者99が、始点901で示される地点から跳躍して、音符902に示される地点に着地するという意味である。以下、音符902から音符903へ跳躍するのも同様の意味である。
【0021】
図2は、第1の実施形態に係る跳躍の方角と音高の関係を説明するための図である。演奏装置100は、跳躍の方角として、北、北東、東、東南、南、南西、西および北西を検出して、それぞれ、ド(
図2では下線付きのド)、レ、ミ、ファ、ソ、ラ、シおよびド(上線付きのド)の音を発する。ここで、北西に対するド(上線付きのド)は、北に対するド(下線付きのド)より1オクターブ高いドである。
【0022】
図3は、第1の実施形態に係る跳躍の距離と音長の関係を説明するための図である。
図3に示すのは、
図1に示した楽譜900の一部であって、地面に対して真上から見た楽譜の始点901、音符902〜904、および三角形911〜913である。図の上方向が北である。
【0023】
三角形911,912と比べて三角形913は長く、音符902や音符903への跳躍の距離に比べて、音符904への跳躍の距離が長いことがわかる。また、始点901から音符902は北の方角、音符902から音符903は北東の方角、音符903から音符904は東の方角にあり、それぞれ、ド、レ、ミの音に対応する。演奏者99が始点901から始めて音符902〜904に順に跳躍すると、演奏装置100は、ド、レ、長いミの音を発する。
なお、音符903,904は回転している。これは、音符903,904がその前の音符902,903の位置から見えやすくするためである。
【0024】
≪演奏装置の全体構成≫
図4は、第1の実施形態に係る演奏装置の全体構成を示す図である。演奏装置100は、CPU(Central Processing Unit)110、RAM(Random Access Memory)やフラッシュメモリなどから構成される記憶部120、方位センサ131、加速度センサ132、スピーカ133、オーディオ回路134および表示操作部135を含んで構成される。
【0025】
記憶部120は、プログラム121や音源データ122を記憶する。CPU110が、プログラム121を実行することで、演奏装置が機能する(後記する
図9の演奏処理参照)。音源データ122は、跳躍に対する音の原音データであって、各種楽器の原音データである。
方位センサ131は、方角を検出するセンサであって、例えば、検出した演奏装置100のXYZ軸の地磁気の強度をCPU110に出力する。加速度センサ132は、加速度を検出するセンサであって、例えば、検出したXYZ軸の加速度をCPU110に出力する。
【0026】
オーディオ回路134は、D/A変換器であって、CPU110の指示により音源データ122にある楽器の音をアナログ信号に変換する。アナログ信号はスピーカ133に出力され、スピーカ133が音を発する。
表示操作部135は、タッチパネルディスプレイであって、後記する
図6他に記載の各種画面が表示される。表示操作部135は、演奏者99の操作を受け付ける操作部を兼ねている。
【0027】
≪演奏手順≫
図5は、第1の実施形態に係る演奏手順を示すフローチャートである。
ステップS101において、演奏者99は、音色を選択する。詳しくは、演奏者99は、音源データ122にあるどの楽器の音を演奏装置100が発するかを選択する。演奏者99の音色の選択に対応する、CPU110の音色選択の処理については、
図7および
図8を参照して後記する。
【0028】
ステップS102において、演奏者99は、演奏装置100を保持して跳躍して演奏する。演奏者99の演奏に対応する、CPU110の演奏処理については、
図9〜
図13を参照して後記する。
【0029】
≪画面構成≫
図6は、第1の実施形態に係る演奏前の演奏画面210の構成を示す図である。演奏画面210は、CPU110がプログラム121の実行時の初期画面である。演奏画面210の上部のタイトル領域212には、「ドレミジャンプ」と表示されており、プログラム121の実行中であることを示している。
メニュー211がタップされて表示されるメニュー(不図示)が選択されると、CPU110は、画面を、音色選択画面(後記する
図8参照)や曲目選択画面(後記する
図15参照)、音階を選択する音階選択画面(不図示)などに切り替える。
【0030】
演奏者99は、スタートボタン214をタップして演奏(跳躍)を開始する。スタートボタン214は、ストップボタン214A(後記する
図11参照)とトグルになっており、タップされるごとにスタートボタン214とストップボタン214Aとが入れ替わる。
方角表示領域213には、演奏者99が向いている方角とその方角に跳躍したときの音高が表示される。詳しくは、CPU110は、演奏者99が演奏装置100を立てて、表示操作部135を演奏者99の顔に向けて保持している(
図1参照)と仮定して、方位センサ131で検出される表示操作部135と反対方向の方角、および当該方角に対応する音高を方角表示領域213に表示する。
【0031】
≪音色選択処理≫
図7は、第1の実施形態に係る音色選択処理のフローチャートである。音色選択処理は、演奏者99による音色の選択(
図5のステップS101参照)に対してCPU110が実行する処理である。音色選択処理を説明する前に、
図8を参照して、演奏者99による音色の選択を説明する。
【0032】
図8は、第1の実施形態に係る音色選択画面220の構成を示す図である。演奏者99は、メニュー211(
図6参照)を操作して音色選択画面220に切り替える。楽器選択領域221には、現在選択されている楽器が強調して表示されている。
図8では、ピアノが選択されており、跳躍に応じてピアノの音が発せられる。
【0033】
演奏者99が演奏装置100を保持したまま体を回転させると、楽器選択領域221において強調表示される楽器が切り替わり、演奏者99は選択した楽器が確認できる。演奏者99は、所望の楽器を選択すると決定ボタン222(
図8では「けってい」と表示)をタップして、選択を確定させる。
【0034】
図7に戻って、CPU110が実行する音色選択処理を説明する。メニュー211(
図6参照)が操作されて音色選択画面220に切り替えると、CPU110は、音色選択処理を開始する。音色選択処理は、ステップS121〜S124を繰り返す処理である。
ステップS121においてCPU110は、方位センサ131から現在の方位を取得する。
【0035】
ステップS122においてCPU110は、音色選択処理を開始してからの累積の回転角度を算出する。詳しくは、CPU110は、ステップS121において繰り返し方位を取得して、累積の回転角度を算出する。例えば、開始時が北であって、その後に東、南、西、南、西、北、東を取得したならば、累積の回転角度は90度+90度+90度−90度+90度+90度+90度=450度と算出する。
【0036】
ステップS123においてCPU110は、ステップS122で算出した回転角度に応じて楽器選択領域221(
図8参照)において強調表示される楽器を切り替える。例えば、累積の回転角度が−30度から30度の間はピアノ、30度から90度の間はオルガン、90度から150度の間はハーモニカといったように、CPU110は、60度増えるごとに強調表示される楽器を切り替える。
【0037】
ステップS124においてCPU110は、決定ボタン222のタップを検出した場合には(ステップS124→YES)ステップS125に進み、検出していない場合には(ステップS124→NO)ステップS121に戻る。
ステップS125においてCPU110は、楽器選択領域221において強調表示されている楽器を、スピーカ133が発する音の楽器として選択して、記憶する。
【0038】
≪演奏処理≫
図9は、第1の実施形態に係る演奏処理のフローチャートである。演奏処理は、演奏者99による演奏(
図5のステップS102参照)に対してCPU110が実行する処理である。演奏処理を説明する前に、
図10を参照して、跳躍と着地を検出する処理、および跳躍の方角と高さと距離とを算出する処理を説明する。
【0039】
図10は、第1の実施形態に係る跳躍と着地を検出する処理、および跳躍の方角と高さと距離とを算出する処理を説明するためのグラフである。
図10の上側のグラフは、加速度センサ132の出力から求められる時間経過に伴う垂直方向の加速度を示す。なお、演奏装置100には、期間T0の静止した状態で重力加速度がかかっている。CPU110は、加速度センサ132の出力から重力加速度の方向を算出して、重力加速度の反対方向を垂直方向と定め、この静止した状態を加速度0として補正して加速度を検出する。
【0040】
図10の下側のグラフは、加速度センサ132の出力から求められる時間経過に伴う水平方向で跳躍した方向の加速度を示す。水平方向とは、垂直方向と直角をなす方向であって、静止した状態で重力加速度が0となる方向である。跳躍した方向は、跳躍するまでの期間T1において、水平方向で最も大きい加速度の方向である。
【0041】
期間T0は、体を静止している期間である。垂直方向および水平方向とも加速度は0である。
期間T1は、跳躍するまでの期間であって、体を動かし始めて足が地面を離れるまでの期間である。垂直方向では、主に上向きの加速度が生じている。水平方向では、跳躍した方向への加速度が生じている。
【0042】
期間T2は、体が宙に浮いている期間である。垂直方向では、重力の加速度(−G)が検出されている。水平方向の加速度は0である。
期間T3は、着地してから体が停止するまでの期間である。垂直方向では、落下する下向きの速度が0になるために、主に上向きの加速度が生じている。水平方向では、跳躍した向きの速度が0になるために、跳躍した方向とは逆の加速度が生じている。期間T3以後は、垂直方向および水平方向とも加速度は0であり、以降は期間T0〜T3を繰り返す。
跳躍の距離が0であるその場での跳躍については、垂直方向のグラフは
図10の上側のグラフと同様であり、水平方向の加速度が0ないしは所定の値より小さいグラフとなる。
【0043】
期間T0は、垂直方向および水平方向とも加速度は0である(所定の値より小さい加速度を検出)期間として検出可能である。期間T1は、期間T0に続き、垂直方向の加速度の変化が生じて(所定の値より大きい加速度を検出)、重力加速度を検出(重力加速度との差が所定の値より小さい加速度を検出)するまでの期間として検出可能である。期間T2は、期間T1に続き、重力加速度を検出している期間である。期間T3は、期間T2に続き、重力加速度が検出されなくなり(重力加速度との差が所定の値より大きい加速度を検出)、垂直方向および水平方向とも加速度が0になる(所定の値より小さい加速度を検出)までの期間として検出可能である。
【0044】
演奏者99の跳躍が放物線を描く(演奏者99が放物運動を行う)と仮定して、CPU110は、跳躍時の初速度から高さと距離を算出する。以下に、これを説明する。
CPU110は、期間T1における垂直方向の加速度を積分することで、跳躍開始時の上向きの速度(初速度)が計算可能であり、跳躍の高さを算出することができる。
【0045】
CPU110は、期間T1における水平方向で加速度が最大の方向を算出することで跳躍の方向(演奏装置100に対する方向)が検出可能である。また、方位センサ131の出力から演奏装置100が向いている方角(東西南北の方向)が算出でき、跳躍の方角が検出できる。方角を算出する際には、±22.5度の誤差を考慮して算出する。例えば、北を0度として、時計周りに28度だとする。28度は45度±22.5度の範囲にあるので、CPU110は北東と算出する。
CPU110は、期間T1における跳躍方向の加速度を積分することで、跳躍開始時の跳躍方向の速度(初速度)が計算可能であり、跳躍の距離を算出することができる。
【0046】
≪演奏処理:演奏処理の流れ≫
図9に戻って、演奏処理の処理内容を説明する。
ステップS141においてCPU110は、スタートボタン214(
図6参照)のタップを検出する。以降は、演奏装置100は演奏中のモードとなる。
図11は、第1の実施形態に係る演奏中の演奏画面210Aの構成を示す図である。演奏画面210Aの上部には「プレイちゅう」と表示され、演奏中であることがわかる。スタートボタン214(
図6参照)は、ストップボタン214Aに替わっている。
【0047】
図9に戻る。ステップS142においてCPU110は、跳躍と着地の検出処理を実行する。跳躍と着地の検出処理は、
図13を参照して後記する。
ステップS143においてCPU110は、跳躍と着地の検出処理で検出した跳躍の方角に応じた高さ、跳躍の高さに応じた大きさ、跳躍の距離に応じた長さの音を出力する。続いて、CPU110は、音の高さ、大きさ、長さ、および出力したタイミング(処理開始してからの時間)を記憶する。
【0048】
ステップS144においてCPU110は、ストップボタン214Aのタップを検出した場合には(ステップS144→YES)演奏処理を終え、検出していない場合には(ステップS144→NO)ステップS142に戻る。
【0049】
図12は、第1の実施形態に係る演奏後の演奏画面210Bの構成を示す図である。ストップボタン214A(
図11参照)は、スタートボタン214に替わっており、「きく」ボタン215が表示されている。「きく」ボタン215がタップされると、ステップS143で記憶された高さ、大きさ、長さの音が、記憶されたタイミングで再生される(音が出力される)。
【0050】
≪演奏処理:跳躍と着地の検出処理≫
図13は、第1の実施形態に係る跳躍と着地の検出処理のフローチャートである。
図13を参照してステップS142(
図9参照)の跳躍と着地の検出処理を説明する。
【0051】
ステップS161においてCPU110は、方位を検出して方角表示領域213(
図6参照)に表示する。表示する処理は、
図6で説明したとおりである。
ステップS162においてCPU110は、加速度センサ132から垂直方向の加速度gを取得する。
ステップS163においてCPU110は、gの大きさ(gの絶対値|g|)が所定値G1より大きい場合には(ステップS163→YES)ステップS164に進み、大きくない場合には(ステップS163→NO)ステップS161に戻る。ステップS164に進むことは、期間T0(
図10参照)から期間T1に移ったということである。
【0052】
ステップS164においてCPU110は、加速度センサ132から垂直方向の加速度gを取得する。
ステップS165においてCPU110は、gと重力加速度の差(|g−(−G)|=|g+G|)が所定値G2より小さい場合には(ステップS165→YES)ステップS166に進み、小さくない場合には(ステップS165→NO)ステップS164に戻る。ステップS166に進むことは、期間T1から期間T2に移ったということである。
【0053】
ステップS166においてCPU110は、加速度センサ132から垂直方向の加速度gを取得する。
ステップS167においてCPU110は、gと重力加速度の差(|g+G|)が所定値G3より大きい場合には(ステップS167→YES)ステップS168に進み、大きくない場合には(ステップS167→NO)ステップS166に戻る。ステップS168に進むことは、期間T2から期間T3に移ったということである。
【0054】
ステップS168においてCPU110は、加速度センサ132から垂直方向の加速度gを取得する。
ステップS169においてCPU110は、gの大きさ(|g|)が所定値G4より小さい場合には(ステップS169→YES)ステップS170に進み、小さくない場合には(ステップS169→NO)ステップS168に戻る。ステップS170に進むことは、期間T3が終わり、次の期間T0に移ったということである。
ステップS170においてCPU110は、跳躍の方角と高さと距離とを算出する。算出手法は、
図10で説明したとおりである。
【0055】
≪楽譜参照の演奏手順≫
上記した演奏では、演奏者99は地面上の楽譜900(
図1参照)の音符902〜907に向かって跳躍しながら演奏する。次は、演奏装置100の表示操作部135に表示される楽譜を参照(後記する
図17の楽譜表示領域241参照)する演奏を説明する。
【0056】
図14は、第1の実施形態に係る楽譜を参照する場合の演奏手順を示すフローチャートである。
ステップS201において、演奏者99は、曲を選択する。
図15は、第1の実施形態に係る曲目選択画面230の構成を示す図である。演奏者99は、メニュー211(
図6参照)を操作して曲目選択画面230に切り替える。曲目選択領域231には、現在選択されている曲目が強調して表示されている。
図15では、チューリップが選択されており、チューリップの楽譜が表示操作部135に表示される(後記する
図17参照)。
【0057】
演奏者99が演奏装置100を保持したまま体を回転させると、曲目選択領域231において強調表示される曲目が切り替わり、演奏者99は選択した曲目が確認できる。演奏者99は、所望の曲目を選択すると決定ボタン232(
図15では「けってい」と表示)をタップして、選択を確定させる。
曲目選択に係るCPU110の処理は、音色選択処理(
図7参照)と同様である。詳しくは、ステップS123において楽器に替わりに曲目を強調表示し、ステップS125において強調表示されている曲目を、楽譜を表示する曲目として選択して、記憶する。
【0058】
図14に戻る。ステップS202において、演奏者99は、演奏装置100を保持して跳躍して演奏する。演奏者99の演奏に対応する、CPU110の演奏処理については、
図16〜
図19を参照して後記する。
【0059】
≪楽譜参照の演奏処理≫
図16は、第1の実施形態に係る楽譜を参照する場合の演奏処理を示すフローチャートである。演奏処理は、演奏者99による演奏(
図14のステップS202参照)に対してCPU110が実行する処理である。曲目選択画面230(
図15参照)の決定ボタン232のタップを検知すると、CPU110は、演奏画面240(後記する
図17参照)を表示して、演奏処理を開始する。
【0060】
図17は、第1の実施形態に係る楽譜を参照する場合の演奏画面240の構成を示す図である。演奏者99は、スタートボタン245をタップして演奏(跳躍)を開始する。スタートボタン245は、ストップボタン245A(後記する
図18参照)とトグルになっており、タップされるごとにスタートボタン245とストップボタン245Aとが入れ替わる。
楽譜表示領域241には、曲目選択画面230で選択した曲の楽譜として、跳躍する順に左から右に音符242〜244が表示される。次に跳躍する音符は太線で示されている。
図17においては、音符242が次の音符である。
【0061】
音符242〜244には、音高に対応する跳躍する方角が文字で示されている。
音の大きさに対応する跳躍の高さは、音符242〜244の縦の長さとして示されている。例えば、音符242は、他の音符243,244と比べて縦に長く、高く跳躍することを示している。
音の長さに対応する跳躍の距離は、音符242〜244の横の長さとして示されている。例えば、音符244は、他の音符242,243と比べて横に長く、距離を長く跳躍することを示している。
【0062】
図16に戻って、演奏処理を説明する。
ステップS221においてCPU110は、スタートボタン245(
図17参照)のタップを検出する。以降は、演奏装置100は演奏中のモードとなる。
図18は、第1の実施形態に係る楽譜を参照する演奏における演奏画面240Aの構成を示す図である。スタートボタン245(
図17参照)は、ストップボタン245Aに替わっている。
図16に戻る。ステップS222においてCPU110は、次の音符を強調して表示する。詳しくは、CPU110は、次の跳躍に対応する音符を太線で表示する。
【0063】
ステップS223においてCPU110は、CPU110は、跳躍と着地の検出処理を実行する。跳躍と着地の検出処理は、
図20を参照して後記する。跳躍と着地の検出処理で、CPU110は、跳躍の方角、高さおよび距離を検出する。
ステップS224においてCPU110は、CPU110は、ステップS223で検出した跳躍の方角、高さおよび距離が、次の音符に対応しているか否かを判定して、判定結果を記憶する。CPU110は、跳躍と次の音符が対応しているならば(ステップS224→YES)ステップS226に進み、対応していないならば(ステップS224→NO)ステップS225に進む。
【0064】
ステップS225においてCPU110は、ブザー音をスピーカ133に出力して、ステップS223に戻る。CPU110は、何の音の出力もせずにステップS223に戻ってもよいし、次の音符を点滅させてステップS223に戻ってもよい。
ステップS226においてCPU110は、ステップS223で検出した跳躍の方角に応じた高さ、跳躍の高さに応じた大きさ、跳躍の距離に応じた長さの音を出力する。
ステップS227においてCPU110は、ステップS226において出力した音が、曲の最後の音(最後の音符に対応する音)か否かを判定する。CPU110は、最後の音ならば(ステップS227→YES)ステップS229に進み、最後の音でないならば(ステップS227→NO)ステップS228に進む。
【0065】
ステップS228においてCPU110は、次の音符を強調して表示して、ステップS223に戻る。
ステップS229においてCPU110は、採点して点数を表示する。詳しくは、CPU110は、ステップS224においてYESに進んだ回数とNOに進んだ回数とに応じて採点して、得点画面250(後記する
図19参照)に点数を表示する。例えば、YESに進んだ回数が17回、NOに進んだ回数が3回ならば、(17/(17+3))×100=85から85点と採点する。
【0066】
図19は、第1の実施形態に係る得点画面250の構成を示す図である。点数表示領域251に採点結果の点数が表示される。「もういちど」ボタン252のタップを検知すると、CPU110は、演奏画面240(
図17参照)に切り替える。演奏者99は、同じ曲で演奏することができるようになる。「きょくえらび」ボタン253のタップを検知すると、CPU110は、曲目選択画面230(
図15参照)に切り替える。演奏者99は、曲を変えることができるようになる。
【0067】
図20は、第1の実施形態に係る楽譜を参照する場合の跳躍と着地の検出処理のフローチャートである。
図20の跳躍と着地の検出処理は、
図13に記載の跳躍と着地の検出処理からステップS161のステップを除いた処理であって、ステップS241〜S249は、ステップS162〜S170にそれぞれ対応する。
【0068】
≪演奏装置の特徴≫
演奏装置100は、加速度の変化から演奏者99の跳躍の方角や高さ、距離を算出して、対応する音を出力する。演奏者99は、地面上の楽譜900(
図1参照)や表示された楽譜(
図17の楽譜表示領域241参照)を見ながら、跳躍することで音を出して、演奏する。
従来までの遊具の変更と比較して、地面上の楽譜900の変更は、工事期間が短く、工事費用も低い。このため、演奏者99が少なくなった場合に、演奏者99の再演奏を促すために別の曲に変更してリニューアルすることが容易である。また、保守も簡単である。さらに、演奏は地面の上の跳躍であるため、事故の可能性は低く、演奏装置100は、安全性の高い遊具となっている。
【0069】
≪第1の実施形態の変形例:演奏場所の制限≫
演奏装置100を所有していれば、演奏者99は、楽譜さえ用意できれば、いつでも、どこでも演奏が可能である。演奏者99にとってはメリットであるが、公園や遊園地の運営者にとっては、来園や来場の動機づけがなくなり、デメリットとなる。
対応策として、演奏装置100が動作する位置を制限するようにしてもよい。例えば、演奏装置100は、GNSS(Global Navigation Satellite System)を利用して自身の現在位置を特定し、予め決められた位置以外では、演奏処理(
図9、
図16参照)を実行しないようにしてもよい。GNSSではなく、NFC(Near Field Communication)やBluetooth(登録商標)などの近距離無線通信で、予め決められたアドレスの通信機器と通信可能でないならば、演奏処理を実行しないようにしてもよい。例えば、楽譜900を構成する始点901(
図1参照)や音符902〜907のブロックに近距離無線通信のタグを埋め込んでおくことで、楽譜900付近でしか演奏できないように制限してもよい。
【0070】
≪第1の実施形態の変形例:方角検出≫
上記した実施形態において、ド、レ、ミ、ファ、ソ、ラ、シ、ドに対応する方角は、それぞれ北、北東、東、南東、南、南西、西、北西であり、各音に対応する角度は45度であった(
図2参照)。これに対して、演奏する曲が決まっていて、次の音が決まっている場合に、次の音に対応する角度を大きくするようにしてもよい。
【0071】
図21は、第1の実施形態の変形例に係る跳躍の方角と音高の関係を説明するための図である。楽譜参照の演奏において、次の音がミと決まっている場合には、ミに対応する方角の幅が、通常の45度ではなく90度に設定されている。替わりに、ミの隣であるレとファは、22.5度に設定されている。CPU110は、ステップS249(
図20参照)において、次の音に対応する角度の幅を広くして方角を算出する。
【0072】
次の音に対応する角度の幅を広くすることで、演奏者99が跳躍する方角が多少ずれても、演奏装置100は正しい音を発するようになる。演奏者99が幼少であって、正しい方角に跳躍することが難しくても、演奏装置100は正しい音を発することができ、演奏者99は演奏を楽しむことができるようになる。
【0073】
上記した実施形態では、1オクターブが360度に対応していた。すると、例えば、ド、ソ、ド、ソという旋律が含まれる曲では、地面上の音符(
図1参照)が重なってしまう。このような曲を考慮して、例えば、ド、レ、ミ、ファ、ソ、ラ、シ、ドを、北を0度として、それぞれ−70度±10度、−50度±10度、−30度±10度、−10度±10度、10度±10度、30度±10度、50度±10度、70度±10度に対応するようにして、地面上の音符が重ならないようにしてもよい。
【0074】
≪第1の実施形態の変形例:跳躍直後の音出力≫
上記した実施形態における演奏装置100は、演奏者99が跳躍して着地した後に音を出力している。跳躍を検出した時点で音を出力するようにしてもよい。
図22は、第1の実施形態の変形例に係る演奏処理のフローチャートである。
図9の演奏処理と比較して、ステップS142の跳躍と着地の検出処理が、ステップS312の跳躍の検出処理(後記する
図23参照)と、音を出力した後のステップS314の着地の検出処理(後記する
図24参照)とに分割されている。
【0075】
図23は、第1の実施形態の変形例に係る跳躍の検出処理のフローチャートである。跳躍の検出処理は、跳躍と着地の検出処理(
図13参照)の前半の処理である跳躍の検出と、跳躍の方角、高さ、距離の算出からなる。詳しくは、ステップS331〜S335は、ステップS161〜S165とそれぞれ同様であり、ステップS336は、ステップS170と同様である。
【0076】
図24は、第1の実施形態の変形例に係る着地の検出処理のフローチャートである。着地の検出処理は、跳躍と着地の検出処理の後半の処理である着地の検出と同様である。詳しくは、ステップS361〜S364は、ステップS166〜S169とそれぞれ同様である。
上記した変形例においては、演奏装置100は、着地ではなく跳躍を検出した時点(足が地面から離れた時点)で音を出力する。このため、演奏者99は、異なるタイミングによる演奏を楽しむことができる。
【0077】
≪第1の実施形態の変形例:まとめての音出力≫
上記した実施形態では、演奏装置100は、スタートボタン214(
図6参照)がタップされて、ストップボタン214A(
図11参照)がタップされるまで、跳躍が検出するたびに音を出力している。演奏装置100は、跳躍時(演奏時)には音を出力せず、「きく」ボタン215(
図12参照)がタップされて音を出力(演奏を再生)するようにしてもよい。
または、スタートボタン214がタップされて後で、跳躍が所定長の時間検出されなかったときに演奏が終了したと判断して、スタートボタン214がタップされて後の跳躍に対応する音を出力するようにしてもよい。再び、跳躍が検出され、所定長の時間跳躍が検出されなかったときに音を出力するようにしてもよい。
【0078】
≪第1の実施形態の変形例:方角の検出≫
上記した実施形態では、演奏者99が演奏装置100を立てて、表示操作部135を演奏者99の顔に向けて保持している(
図1参照)と仮定して、CPU110は、方位を検出している。演奏者99が、演奏装置100を斜めに立てて保持していた場合も、表示操作部135を演奏者99の顔に向けているとして、CPU110は方位を検出するようにしてもよい。詳しくは、演奏装置100が斜めの場合には、CPU110は、重力加速度の方向と直角をなす方向であって、演奏装置100の背面の方向(表示操作部135の反対方向)に最も近い方向の方位を、演奏者99が向いている方角として、算出する。また、演奏装置100が水平の場合には、CPU110は、演奏装置100の上部(演奏者99から最も離れている側面)の方向の方位を、演奏者99が向いている方角として、算出する。
【0079】
≪第1の実施形態の変形例:音色選択処理:決定ボタンの替わりに跳躍≫
音色選択処理(
図7参照)においては、決定ボタン222(
図8参照)が押下(タップ)されて、音色(楽器)が確定している。これに替わり、跳躍を検出して、音色を確定するようにしてもよい。曲目選択(
図15参照)においても、決定ボタン232のタップの検出に替わり、跳躍を検出して、曲目を確定するようにしてもよい。
【0080】
≪第1の実施形態の変形例:音色選択処理:回転の替わりにタップを検出≫
音色選択処理において、CPU110は、ステップS121〜S122(
図7参照)で検出された演奏者99の回転角度に応じて、楽器を切り替える。これに対して、CPU110は、タップを検出して楽器を切り替えてもよい。例えば、CPU110は、楽器選択領域221(
図8参照)においてタップされた楽器を検出して強調表示して、決定ボタン222のタップを検出したならば、強調表示されている楽器を、スピーカ133が発する音の楽器として選択して、記憶するようにしてもよい。曲目選択(
図15参照)においても、CPU110は、曲目選択領域231においてタップされた曲目を検出して強調表示して、決定ボタン232のタップを検出して選択できるようにしてもよい。
【0081】
≪第1の実施形態の変形例:音色選択処理:演奏中の選択≫
上記した実施形態では、音色を選択した後に演奏している(
図5参照)。これに加えて、演奏中に、その場で回転跳躍して音色を選択するようにしてもよい。その場で回転跳躍すると、期間T1(
図10参照)では、垂直方向の加速度は検出されるが、水平方向の加速度は検出されない(所定の値より小さい加速度しか検出されない、または、加速度の積分値である初速度が所定の値より小さい)。
【0082】
このような跳躍が検出された場合には、CPU110は、期間T1における方位センサ131の出力と、期間T3における方位センサ131の出力とから、回転の角度を算出して、音色(楽器)を切り替えるようにしてもよい。例えば、60度ごとに音色を切り替えるとして、CPU110は、現設定がハーモニカで120度の回転跳躍を検出したならば、ギターに切り替えるようにしてもよい(
図8参照)。切り替える際は、CPU110は、演奏画面210A(
図11参照)を音色選択画面220に切り替えるようにしてもよい。
回転跳躍による音色選択を可能とすることで、演奏者99は、メニュー211(
図11参照)を操作して音色選択画面220に切り替えてから音色選択をする必要がなくなり、演奏中にタイミングよく音色を切り替えることができるようになる。
【0083】
≪第2の実施形態≫
第1の実施形態では、携帯型の演奏装置100を保持しながら跳躍して演奏する。演奏装置100の保持が跳躍の邪魔になる場合が想定される。以下では、この点を改善した第2の実施形態を説明する。
【0084】
図25は、第2の実施形態に係る演奏システム30を用いた演奏を説明するための図である。演奏システム30は、バッジ型の携帯装置300と、本体装置400とを含む。携帯装置300と本体装置400とは、無線通信で接続される。
演奏者99は、演奏装置100を保持する替わりに、センサを備えるバッジ型の携帯装置300を装着して跳躍する。携帯装置300は、所定のタイミング(例えば、所定の周期間隔)で方位や加速度の情報を本体装置400に送信する。
【0085】
図26は、第2の実施形態に係る携帯装置300の全体構成を示す図である。携帯装置300は、CPU310、方位センサ331、加速度センサ332、記憶部333、および通信部334を備える。通信部334は、本体装置400にデータを送信するデバイスである。CPU310は、記憶部333に記憶されるプログラム(不図示)を実行することで、方位センサ331が検出した方位情報、および加速度センサ332が検出した加速度情報を、所定のタイミングで本体装置400に送信する。
【0086】
図27は、第2の実施形態に係る本体装置の全体構成を示す図である。本体装置400は、CPU410、プログラム421や音源データ422などを記憶する記憶部420、スピーカ431、オーディオ回路432、および通信部433を備える。CPU410、記憶部420、スピーカ431、およびオーディオ回路432は、演奏装置100(
図4)のCPU110、記憶部120、スピーカ133、およびオーディオ回路134とそれぞれ同様である。通信部433は、携帯装置300が送信した方位情報および加速度情報を受信する。
【0087】
第1の実施形態において、CPU110は、方位や加速度の情報を方位センサ131および加速度センサ132から直接取得していた。これに対して、第2の実施形態では、CPU410は、方位や加速度の情報を、携帯装置300の方位センサ331や加速度センサ332から通信経由で取得する。
【0088】
図28は、第2の実施形態に係る演奏処理のフローチャートである。ステップS411〜S419は、CPU110がCPU410に替わり、方位センサ131が方位センサ331に替わり、加速度センサ132が加速度センサ332に替わったことを除いて、
図13記載のステップS162〜S170と同様である。
ステップS420においてCPU410は、ステップS419で算出した跳躍の方角、高さおよび距離に応じた音を出力する。
【0089】
≪第2の実施形態の特徴≫
第2の実施形態においては、演奏者99は、演奏装置100は保持しておらず、軽量のバッジ型の携帯装置300を身につけている。このため、演奏者99は、より軽快に跳躍することができる。
【0090】
≪第2の実施形態の変形例:操作部≫
携帯装置300は、操作部を有さず、第1の実施形態におけるスタートボタン214(
図6参照)、ストップボタン214A(
図11参照)の操作による演奏の開始や終了の指示ができない。携帯装置300に操作部としてのボタンを備え、ボタンの押下を通信経由で本体装置400に送信するようにしてもよい。CPU410は、ボタン押下の信号を受信すると、演奏処理(
図28参照)を開始し、次にボタン押下の信号を受信すると、演奏処理を停止する。
【0091】
≪第3の実施形態≫
上記した実施形態では、演奏装置100は、演奏者が跳躍した方角を検出して、この方角に応じた高さの音を発している。跳躍して着地したときの方角に応じた高さの音を発するようにしてもよい。
【0092】
図29は、第3の実施形態に係る演奏装置100Aの全体構成を示す図である。演奏装置100(
図4参照)と比較して、演奏装置100Aは、重力センサ136をさらに備える。重力センサ136は、演奏装置100Aにかかる重力の方向(地面の方向)を検出する。この方向により、上向き(表示操作部135が上を向いている)など、水平面に対する演奏装置100Aの向きが検出できる。なお、重力センサ136は、物理的なデバイスではなく、加速度センサ132を含む他のセンサから重力の方向を算出するCPU110の機能と見なしてもよい。
【0093】
図30は、第3の実施形態に係る方角検出処理のフローチャートである。
図30を参照しながら、演奏者が着地したときの演奏装置100Aの方角を検出する処理を説明する。なお、CPU110は、ステップS511と、ステップS521〜S523とを同時に並列に実行する。
【0094】
ステップS511においてCPU110は、所定の周期で方角を検出して記憶する。詳しくは、CPU110は、所定の周期で、重力センサ136を用いて演奏装置100Aの向きを求め、方位センサ131を用いて地磁気の向きを求めて、演奏装置100Aの方角(演奏者が向いている方角)を算出して記憶する。なお、算出した方角は、北、北東、東、南東、南、南西、西および北東のなかで一番近い方角に変換されて(丸められて)記憶される。
【0095】
ステップS521においてCPU110は、着地を検出したら(ステップS521→YES)ステップS522に進み、着地を未検出なら(ステップS521→NO)ステップS521に戻る。CPU110は、着地を検出した時点でステップS522に進む。
図31は、第3の実施形態に係る着地したときにおける加速度の大きさの変化を示すグラフである。CPU110は、
図31記載のグラフに類似する加速度の大きさの変化を検出することで着地を検出する。
【0096】
ステップS522においてCPU110は、ステップS511で記憶した方角で、着地検出時点から直近の所定数の方角を取得する。
ステップS523においてCPU110は、ステップS522で取得した方角で、最も多数である方角を演奏装置100Aの方角として算出する。
【0097】
≪第3の実施形態の特徴≫
加速度センサ132と方角の多数決だけでは、演奏装置100Aの向きの取得が困難ないしは不正確である場合であっても、さらに重力センサ136を用いることで、演奏装置100Aの方角が特定できるようになる。延いては、着地時の方角が取得できて、演奏者の着地時の方角に合わせた高さの音を発することができるようになる。
【0098】
図13では、CPU110は、跳躍と着地を検出して、跳躍の方角と高さと距離とを算出している。CPU110は、この処理を
図30に示した方角検出処理に置き換えて演奏するようにしてもよい。高さと距離とは、所定の値としてもよいし、着地を検出した加速度の変化の大きさ(例えば、最大値、最大値と最小値の差)に応じた値であってもよい。
【0099】
≪第3の実施形態の変形例≫
上記した実施形態では、ステップS511においてCPU110は、重力センサ136を用いて演奏装置100Aの向きを求め、方位センサ131を用いて地磁気の向きを求めて、演奏装置100Aの方角を算出している。例えば、演奏装置100AのOS(Operating System)がAndroid(登録商標)であれば、重力センサ136が取得した重力の演奏装置100AのXYZ軸における向きと、地磁気センサである方位センサ131が取得した地磁気の演奏装置100AのXYZ軸における向きとが取得できる。
ステップS511においてCPU110は、100msec間隔で方角を算出して、直近の8つの方角を記憶する。ステップS523においてCPU110は、この8つの方角から一番多い方角を演奏装置100Aの方角とする。
【0100】
演奏装置100AのOSがiOS(登録商標)の場合には、演奏装置100Aの方角を取得できるAPI(Application Programming Interface)がある。このため、CPU110は、重力や地磁気の向きを取得することなく、演奏装置100Aの方角を算出できる。iOSの場合には、ステップS511においてCPU110は、20msec間隔でAPIを用いて演奏装置100Aの方角を取得し、直近の10の方角を記憶する。ステップS523においてCPU110は、この10の方角から一番多い方角を演奏装置100Aの方角とする。
【0101】
≪その他変形例≫
楽譜900の三角形911〜916は、三角形に限らず、例えば矢印のような、音符902〜907の順序を示す他の記号または文字であってもよい。また、楽譜表示領域241(
図17参照)に表示される楽譜の音符には、跳躍する方角が文字として記載されているが、例えば、矢印の向きや向きを示す記号で跳躍する方角を示してもよい。
また、携帯装置300(
図25参照)はバッジ型に限らず、ベルトやたすきの形態であってもよいし、シャツやズボン(パンツ、スラックス)、スカートなどの衣類の形態であってもよい。
【0102】
上記した実施形態では、演奏者99が演奏装置100を保持して、跳躍しながら演奏しているが、演奏者99は人に限らず、楽譜(
図1の楽譜900、
図17の楽譜表示領域241参照)が可読であるロボットなどであってもよい。または、演奏装置100にカメラが備わっており、楽譜900が撮影されると、方位および音符の位置関係から音の高さと長さを解析して、音を出力してもよい。
【0103】
上記した実施形態では、方角(北、北東、東、東南、南、南西、西および北西)に音高(ド、レ、ミ、ファ、ソ、ラ、シおよびド)を割り当てたが、これに限るものではない。
例えば、演奏者が最初に跳躍(演奏)する前に向いている方向に対する方角を基準として音高を割り当ててもよい。演奏者が演奏前に東を向いていた場合、東にドを割り当て、東を基準にして時計回りに所定角度ごとにレ、ミ、ファ・・・と順に音高を割り当てることとしてもよい。
【0104】
なお、本明細書において、演奏処理や音色選択処理、曲目選択処理を記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【0105】
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲のとおりである。
【0106】
≪付記≫
《請求項1》
発音可能な端末装置であって、
前記端末装置の動きを検出する第1のセンサと、
前記端末装置が向いている方角を検出する第2のセンサと、
前記第1のセンサで検出された動きの時系列変化がジャンプの動作を表す場合に、前記第2のセンサで検出された方角に対応した音を発音させる制御部と
を備える端末装置。
《請求項2》
発音可能な端末装置であって、
前記端末装置の動きを検出する第1のセンサと、
前記端末装置が向いている方角を検出する第2のセンサと、
前記第1のセンサで検出された動きの時系列変化が放物運動を表す場合に、前記第2のセンサで検出された方角に対応した音を発音させる制御部と
を備える端末装置。
《請求項3》
前記発音される音の大きさは、前記ジャンプの高さに対応した大きさである
ことを特徴とする請求項1に記載の端末装置。
《請求項4》
前記発音される音の長さは、前記ジャンプの距離に対応した長さである
ことを特徴とする請求項1に記載の端末装置。
《請求項5》
前記制御部は、前記ジャンプの動作を1つ検出したときに、前記音を発音させる
ことを特徴とする請求項1に記載の端末装置。
《請求項6》
操作部を備え、
前記制御部は、前記操作部が受け付けた開始から終了までの期間に検出された前記ジャンプに対応した音を発音させる
ことを特徴とする請求項1に記載の端末装置。
《請求項7》
発音可能な演奏装置であって、
前記演奏装置の動きを検出する第1のセンサと、
前記演奏装置が向いている方角を検出する第2のセンサと、
前記第1のセンサで検出された動きの時系列変化がジャンプの動作を表す場合に、前記第2のセンサで検出された方角に対応した音を発音させる制御部と
を備える演奏装置。
《請求項8》
筐体の動きを検出する第1のセンサと、前記筐体が向いている方角を検出する第2のセンサとを備えるコンピュータに、
前記第1のセンサで検出された動きの時系列変化がジャンプの動作を表す場合に、前記第2のセンサで検出された方角に対応した音を発音させる手順を
実行させるためのプログラム。
《請求項9》
通信可能に接続された携帯装置と演奏本体装置とを含んだ演奏システムであって、
前記携帯装置は、前記携帯装置の動きを検出する第1のセンサと、前記携帯装置が向いている方角を検出する第2のセンサとを備え、
前記演奏本体装置は、前記第1のセンサで検出された動きの時系列変化がジャンプの動作を表す場合に、前記第2のセンサで検出された方角に対応した音を発音させる制御部を備える
ことを特徴とする演奏システム。
《請求項10》
通信可能に接続された携帯装置と演奏本体装置とを含んだ演奏システムの演奏本体装置であって、
前記携帯装置に備わり前記携帯装置の動きを検出する第1のセンサで検出された前記携帯装置の動きの時系列変化がジャンプの動作を表す場合に、前記携帯装置に備わり前記携帯装置が向いている方角を検出する第2のセンサで検出された方角に対応した音を発音させる制御部を備える
ことを特徴とする演奏本体装置。
《請求項11》
端末装置を用いて演奏するための楽譜であって、音を表す識別情報が方角で表された楽譜。
《請求項12》
前記識別情報の縦横比が、当該識別情報が表す音の長さと、大きさと、長さ及び大きさとのうちの何れか1つを示す
ことを特徴とする請求項11に記載の楽譜。
《請求項13》
表示部と、
音を表す識別情報が方角で表された楽譜を前記表示部に表示させる制御部と、
を備える楽譜表示装置。
《請求項14》
発音可能な端末装置であって、
表示部と、
前記端末装置の動きを検出する第1のセンサと、
前記端末装置が向いている方角を検出する第2のセンサと、
前記第1のセンサで検出された動きの時系列変化がジャンプの動作を表す場合に、前記第2のセンサで検出された方角に対応した音を発音させる制御部と、を備え、
前記制御部は、音を表す識別情報が方角で表された楽譜を前記表示部に表示させる
ことを特徴とする端末装置。