(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022018286
(43)【公開日】2022-01-27
(54)【発明の名称】情報処理装置
(51)【国際特許分類】
G10K 15/04 20060101AFI20220120BHJP
G09B 15/00 20060101ALI20220120BHJP
A63F 13/814 20140101ALI20220120BHJP
A63F 13/44 20140101ALI20220120BHJP
A63F 13/5375 20140101ALI20220120BHJP
G10G 1/00 20060101ALI20220120BHJP
【FI】
G10K15/04 302D
G09B15/00 D
G09B15/00 B
A63F13/814
A63F13/44
A63F13/5375
G10G1/00
【審査請求】未請求
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2020121292
(22)【出願日】2020-07-15
(71)【出願人】
【識別番号】518104740
【氏名又は名称】ドクエン株式会社
(74)【代理人】
【識別番号】100205659
【弁理士】
【氏名又は名称】齋藤 拓也
(74)【代理人】
【識別番号】100154748
【弁理士】
【氏名又は名称】菅沼 和弘
(72)【発明者】
【氏名】下村 勝
(72)【発明者】
【氏名】上之薗 拓也
【テーマコード(参考)】
5D182
5D208
【Fターム(参考)】
5D182AA16
5D182AA20
5D208CC15
5D208CE02
5D208CE03
5D208CE04
5D208CF06
5D208CF07
(57)【要約】
【課題】歌唱力をアップさせる手法に関する具体的な情報を、歌唱中のユーザが容易に取得できるようにすること。
【解決手段】表示制御部105は、音高を示す第1軸と、時間を示す第2軸とにより示される表示領域を表示する制御を実行する。また、表示制御部105は、その表示領域において、所定音高で各音の歌唱を開始すべきタイミングに対応する第2軸の方向に沿った位置であって、所定音高に対応する第1軸の方向に沿った位置に、歌唱標識Tを表示する制御を実行する。また、表示制御部105は、歌唱すべき音高の長さを示す音程バーPを表示する制御を実行する。また、表示制御部105は、現時点を示す罫線L3を表示する制御を実行する。これにより、上記の課題を解決する。
【選択図】
図6
【特許請求の範囲】
【請求項1】
音高を示す第1軸と、時間を示す第2軸とにより示される表示領域を表示させる第1表示制御手段と、
前記表示領域において、所定音高で各音の歌唱を開始すべきタイミングに対応する前記第2軸の方向に沿った位置であって、前記所定音高に対応する前記第1軸の方向に沿った位置に、第1標識を表示する制御を実行する第2表示制御手段と、
歌唱すべき音高の長さを示す第2標識を表示する制御を実行する第3表示制御手段と、
現時点を示す第3標識を表示する制御を実行する第4表示制御手段と、
を備える情報処理装置。
【請求項2】
前記第2表示制御手段は、
前記表示領域において、リズムゲームの所定操作をすべきタイミングに対応する前記第2軸の方向に沿った位置に、前記所定操作に対応する第4標識を表示する制御をさらに実行し、
前記第1表示制御手段、前記第2表示制御手段、前記第3表示制御手段、及び前記第4表示制御手段の夫々の制御の組み合せにより、前記リズムゲームとカラオケとを同時に利用可能とする、
請求項1に記載の情報処理装置。
【請求項3】
前記第1表示制御手段、前記第2表示制御手段、前記第3表示制御手段、及び前記第4表示制御手段の夫々の制御により表示される対象が前記第2軸の方向に沿ってスクロール表示される、
請求項1又は2に記載の情報処理装置。
【請求項4】
歌唱の音高及びタイミングに対する評価の結果に応じて前記第1標識が変化する、
請求項1乃至3のうちいずれか1項に記載の情報処理装置。
【請求項5】
前記第2表示制御手段の制御により前記第1標識が表示されるタイミングで、当該第1標識に対応する歌詞を表示する制御を実行する第5表示制御手段をさらに備える、
請求項1乃至4のうちいずれか1項に記載の情報処理装置。
【請求項6】
前記第2表示制御手段は、
前記第3表示制御手段の制御により表示される前記第2標識の長さが所定の閾値を超える場合に、前記第1標識を複数表示する制御を実行する、
請求項1乃至5のうちいずれか1項に記載の情報処理装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置に関する。
【背景技術】
【0002】
カラオケ装置を利用するユーザの利便性を高めることを目的とした技術は存在する(特許文献1)。本来、カラオケ装置は、複数人が集まって歓談する場で利用されるものとして認知されているため、特許文献1に記載された技術を含め従来の技術は、多くの場合、カラオケを利用するユーザがみんなで楽しむにはどのようにすればよいのか、という観点に基づいたものとなっている。
これに対して、近年のカラオケユーザの中には、カラオケを単にみんなで楽しむツールとして利用するだけではなく、自分の歌唱力をアップさせるためのツールとして利用する者が増えている状況にある。この点、従来からあるカラオケ装置の中には、採点機能付きのものもある。
しかしながら、採点機能が付いただけのカラオケでは、どのように歌えば得点(即ち歌唱力)がアップするのかがわからない。このため、横軸を時間とし、縦軸を音高とする「音程バー」に、歌唱すべき音と、実際に歌唱した音とを重畳的に表示させるものも存在する(非特許文献1)。
【先行技術文献】
【特許文献】
【0003】
【非特許文献】
【0004】
【非特許文献1】「[LIVE DAM Ai]精密採点Ai 紹介動画」(https://youtu.be/I6JpcAfvb8Y?t=19)
【発明の概要】
【発明が解決しようとする課題】
【0005】
歌唱力を向上させるためには、リズムよく歌唱する必要がある。そして、リズムよく歌唱するためには、各音の歌い出しを意識して歌唱することが効果的である。
この点、非特許文献1を含め従来の音程バーは、歌唱すべき音程やタイミングを示す機能はあるものの、歌い出しに着目した表示や評価を行う機能はない。このため、歌唱中のユーザに歌い出しを意識させることができなかった。
さらに、非特許文献1の「音程バー」では、歌唱中のユーザが楽曲の歌詞との対応関係を把握し難いといった点で課題がある。
このようなことから、歌唱力をアップさせるための有意義な情報を、歌唱中のユーザが容易に取得することができるカラオケシステムの開発が望まれている状況にあった。
【0006】
本発明は、このような状況に鑑みてなされたものであり、歌唱力をアップさせる手法に関する具体的な情報を、歌唱中のユーザが容易に取得できるようにすることを目的とする。
【課題を解決するための手段】
【0007】
上記目的を達成するため、本発明の一態様の情報処理装置は、
音高を示す第1軸と、時間を示す第2軸とにより示される表示領域を表示させる第1表示制御手段と、
前記表示領域において、所定音高で各音の歌唱を開始すべきタイミングに対応する前記第2軸の方向に沿った位置であって、前記所定音高に対応する前記第1軸の方向に沿った位置に、第1標識を表示する制御を実行する第2表示制御手段と、
歌唱すべき音高の長さを示す第2標識を表示する制御を実行する第3表示制御手段と、
現時点を示す第3標識を表示する制御を実行する第4表示制御手段と、
を備える。
【発明の効果】
【0008】
本発明によれば、歌唱力をアップさせる手法に関する具体的な情報を、歌唱中のユーザが容易に取得できるようになる。
具体的には、歌唱力をアップさせる手法に関する具体的な情報として、歌い出しの部分に判定点となる標識が表示される。これにより、歌い出すべきタイミングが明確になるので、ユーザに対して、歌い出しを意識することを促すことができる。その結果、ユーザはリズムよく歌唱することが可能になる。さらに、歌唱力の評価ポイントの1つに「歌い出しの巧拙」が加わるので、ユーザの意識を「歌い出し」に向かせることができる。
【図面の簡単な説明】
【0009】
【
図1】本発明の一実施形態に係る情報処理装置によりディスプレイに表示される画面のうち、これからユーザが歌唱を始めるタイミングでディスプレイに表示される画面の一例を示す図である。
【
図2】ディスプレイに表示される画面のうち、ユーザによる歌唱及び操作が行われたタイミングでディスプレイに表示される画面の一例を示す図である。
【
図3】ディスプレイに表示される画面のうち、ユーザが音を外した(音高がずれた)タイミングでディスプレイに表示される画面の一例を示す図である。
【
図4】ディスプレイに表示される画面のうち、ユーザが長い音を歌唱すべきタイミングでディスプレイに表示される画面の一例を示す図である。
【
図5】
図1乃至
図4に示す本システムに適用される情報処理装置、即ち本発明の一実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
【
図6】
図5の情報処理装置により実行が制御される処理のうち、歌唱支援処理を実現させる機能的構成の一例を示す機能ブロック図である。
【発明を実施するための形態】
【0010】
以下、本発明の実施形態について、図面を用いて説明する。
【0011】
まず、
図1乃至
図4を参照して、本発明の一実施形態に係る情報処理装置(後述する
図5参照)の適用対象となるカラオケシステム(以下、「本システム」と呼ぶ)の基本的な構成について説明する。
【0012】
図1乃至
図4は、本発明の一実施形態に係る情報処理装置によりディスプレイに表示される画面の一例を示す図である。
このうち、
図1には、これからユーザが歌唱を始めるタイミングでディスプレイに表示される画面の一例が示されている。
また、
図2には、ユーザによる歌唱及び操作が行われたタイミングでディスプレイに表示される画面の一例が示されている。
【0013】
本システムは、カラオケルーム等のカラオケサービスの提供を受けるユーザが利用できるシステムである。
本システムの特徴は、楽曲毎の歌唱のタイミング、音高、音程、リズム、音量、音の長さ、感情表現といった、ユーザの歌唱力をアップさせるための要素になり得る各種の情報(以下、「歌唱支援情報」と呼ぶ)を、歌唱中のユーザが同時に取得できる点である。
なお、「音高」とは音の高さ(ピッチ)のことをいい、単位はHz(ヘルツ)で示される。Hzの値が大きいほど音高は高くなる。例えば、440Hzは「ラ」であり、880Hzはその1オクターブ上の「ラ」となる。また、「音程」とは、2つの音高の間隔のことをいう。
ユーザは、ディスプレイに表示された画面を見ながら歌唱することで、好適なタイミングで歌唱支援情報を取得することができる。そして、ユーザは、取得した歌唱支援情報に基づいて歌唱することで、歌唱力をアップさせるためのイメージを掴むことができる。
【0014】
ディスプレイに表示される画面は、表示領域D1乃至D5で構成されている。
【0015】
表示領域D1には、楽曲の歌詞が表示される。表示領域D1に表示される歌詞は、従来からあるカラオケ装置と同様であり、例えば
図2に示すように、楽曲の進行に合わせて段々と歌詞が着色されていくような態様で表示される。
【0016】
表示領域D2には、罫線L1乃至L3と、歌唱標識Tと、音程バーPと、歌詞単位Wと、歌唱グラフSと、リズムマークM1と、情報J1とが表示される。
【0017】
罫線L1は、時間を示す横軸方向に伸びた罫線群を構成する1本の罫線のことをいう。本実施形態では、11本の罫線L1が表示領域D2に表示されている。
具体的には、罫線L1は、一定の音程(例えば半音2つ)毎に配置される。つまり、より上側に配置される罫線L1がより高い音程を示している。後述する歌唱標識T及び音程バーPは、歌唱すべき音程に対応する罫線L1に重畳して配置される。これにより、ユーザは、音程バーの音程差を容易に把握することができる。
また、罫線L1は、楽曲の最高音と最低音とで示される楽曲全体の音域の幅に応じて音域部分が自動で拡大表示又は縮小表示される。例えば、狭い音域部分は拡大表示される。これにより、音程差を視認し易くなるので、ユーザは音程差を容易に把握できるようになる。
【0018】
罫線L2は、音高を示す縦軸方向に伸びた罫線である。本実施形態では、罫線L2は、罫線L1に直交するように、時間軸を示す横軸方向において、一定の音符の長さ毎(例えば4分音符毎)に配置されている。
これにより、音符が表拍であるのか裏拍であるのかが明確になるので、ユーザはそれに合わせて歌唱することができる。またさらに、罫線L2は、時間軸を示す横軸方向において、1小節毎に太線で表示され、拍子区切り毎に細線で表示される。これにより、ユーザは、リズムを把握し易くなる。なお、罫線L2は、表示領域D2乃至D4を縦断するように存在する。
【0019】
罫線L3は、ユーザが実際に歌唱すべきタイミングを示す、音高を示す縦軸方向に伸びた罫線である。ユーザが、後述する歌唱標識Tの中心点が罫線L3上に存在するタイミングで、その歌唱標識Tに対応する歌詞を歌唱すると、ベストなタイミングで歌唱したことになる。なお、罫線L3は、表示領域D2乃至D4を縦断するように存在する。
【0020】
歌唱標識Tは、ユーザが歌唱すべき音高とタイミングとを示す標識である。歌唱標識Tは、楽曲の歌詞を構成する1音1音(場合によっては複数音)に対応する数だけ存在する。具体的には、歌唱標識Tは、ユーザが歌唱すべき音高を示す標識として、罫線L1(タイミングによっては罫線L1及びL2)に重畳して表示される。歌唱標識Tは、基本的には、後述する音程バーPの左端部に配置される。
【0021】
音程バーPは、ユーザが歌唱すべき音程を示す標識である。具体的には、音程バーPは、ユーザが歌唱すべき音程を示す標識として、罫線L1に重畳して表示される。音程バーPの左端部は、その音程でユーザが歌唱を開始すべきタイミングを示している。音程バーPの左端部には、上述の歌唱標識Tが配置される。また、音程バーPの右端部は、その音程でユーザが歌唱を終えるべきタイミングを示している。即ち、音程バーPは、時間軸を示す横軸方向に、その音程でユーザが歌唱をすべき時間に対応する長さを有している。
【0022】
歌詞単位Wは、表示領域D1に表示される楽曲の歌詞を1音単位で分割したものである。歌詞単位Wは、時間軸を示す横軸方向において、歌唱標識Tと時間的に同じタイミングの位置に表示される。これにより、ユーザは、歌詞単位Wを歌唱すべきタイミングを容易に把握することができる。
【0023】
歌唱グラフSは、ユーザが実際に歌唱した音高の履歴を示す標識である。具体的には、歌唱グラフSは、ユーザが実際に歌唱した音高を示す標識として、罫線L1に重畳して表示される。歌唱グラフSの左端部は、歌唱が開始されたタイミングを示し、歌唱グラフSの右端部は、歌唱が終了したタイミングを示している。
【0024】
また、歌唱グラフSは、ユーザが歌唱した音高が、楽曲本来の音高とオクターブ違いであっても、同じオクターブとして表示される。具体的には例えば、楽曲本来の音高が880Hzの「ラ」である場合に、ユーザが440Hzの「ラ」で歌唱した場合には、「正しく歌唱した」と判定される。また例えば、同じ音(880Hzの「ラ」)をユーザが415Hzの「ソ#」で歌唱した場合には、実際には1オクターブと1半音ずれているが、1半音だけずれたと判定される。その結果、楽曲本来の音高から±0.5オクターブ以内の歌唱の履歴として記録される。
【0025】
リズムマークM1は、演奏中の楽曲のリズムに合わせて動作するシンボルである。リズムマークM1は、演奏中の楽曲のリズムに合わせて跳ねる動作をする。これにより、ユーザは、歌唱のリズムを容易に把握することができる。なお、リズムマークM1の態様は特に限定されない。本実施形態のように下向き三角形状のものであってもよいし、それ以外の態様であってもよい。
【0026】
情報J1は、ユーザの歌唱のミスの回数を示す情報である。本システムでは、楽曲本来の音高、音程、リズム、音量等の情報と、ユーザの実際の歌唱から得られる音高、音程、リズム、音量等の情報とを比較した結果に基づいて、ユーザの歌唱の評価が行われる。評価の結果、「ミス」と判定された場合には、その回数がカウントされて、情報J1として表示領域D2に表示される。これにより、ユーザは、自分の歌唱上のミスの回数をリアルタイムで把握することができる。
具体的には例えば、未だミスがカウントされていない場合には、
図1に示すように「ただ今ノーミス!!」と表記されたアイコンが、情報J1として表示領域D2に表示される。また例えば、ミスが1回カウントされている場合には、
図2に示すように「ミスカウント1」と表記されたアイコンが、情報J1として表示領域D2に表示される。
【0027】
表示領域D3には、罫線L2乃至L4と、楽器標識Giと、枠Fiと、リズムマークM2と、情報J2とが表示される。
【0028】
罫線L2及びL3は、上述したとおりであるため説明を省略する。
罫線L4は、時間を示す横軸方向に伸びた罫線である。本実施形態では、1本の罫線L4が表示領域D3に表示されている。
【0029】
楽器標識Giは、罫線L4に重畳して配置される標識である。本実施形態では、楽器標識Giには「I」という表記が付されている。楽器標識Giは、歌唱とともにリズムゲームを行うユーザが、図示せぬリズムボタンBiを押下すべき(叩くべき)タイミングを示している。なお、リズムボタンBiは、図示せぬ2種類のリズムゲーム用コントローラうち一方に配置されたボタンのことをいう。
【0030】
枠Fiは、罫線L3に重畳して表示される枠である。ユーザは、楽器標識Giが枠Fi内に存在することを見計らってリズムボタンBiを押下する(叩く)と、リズムボタンBiを好適なタイミングで押下できた(叩けた)ことになる。
【0031】
リズムマークM2は、演奏中の楽曲のリズムに合わせて動作するシンボルであり、基本的な構成は上述のリズムマークM1と同様である。このため、リズムマークM2についての説明は省略する。
【0032】
情報J2は、ユーザのリズムボタンBiの押下ミスの回数を示す情報である。本システムでは、楽曲本来のリズムに関する情報と、ユーザの実際の操作(リズムボタンBiを押下する操作)から得られるリズムに関する情報とを比較した結果に基づいて、ユーザの歌唱とは別にリズムゲームの評価が行われる。評価の結果、「ミス」と判定された場合には、その回数がカウントされて、情報J2として表示領域D3に表示される。これにより、ユーザは、リズムゲームにおけるミスの回数をリアルタイムで把握することができる。なお、情報J2の表示の態様は、上述の情報J1と同様であるため説明を省略する。
【0033】
表示領域D4には、罫線L2、L3、L5と、楽器標識Gl,Gr,Gtと、枠Fl,Fr,Ftと、情報J3とが表示される。
【0034】
罫線L2及びL3は、上述したとおりであるため説明を省略する。
罫線L5は、時間を示す横軸方向に伸びた罫線群を構成する1本の罫線のことをいう。本実施形態では、3本の罫線L5が表示領域D4に表示されている。罫線L5の本数は、図示せぬ2種類のリズムゲーム用コントローラうち残る一方に配置された3種類のリズムボタンBl、Br、Btの夫々に対応する罫線である。このため、罫線L5の本数は特に3本に限定されるものではなく、リズムゲーム用コントローラの仕様に対応した本数となる。
【0035】
楽器標識Gl,Gr,Gtは、3本の罫線L5の夫々に重畳して配置された標識である。本実施形態では、楽器標識Gl,Gr,Gtの夫々には、「L」,「R」,「T」という表記が夫々付されている。楽器標識Gl,Gr,Gtは、歌唱とともにリズムゲームを行うユーザが、図示せぬリズムボタンBl,Br,Btの夫々を押下すべき(叩くべき)タイミングを示している。
【0036】
枠Fl,Fr,Ftは、罫線L3と、3本の罫線L5の夫々とに重畳して表示される枠である。
ユーザは、楽器標識Gl,Gr,Gtの夫々が、枠Fl,Fr,Ftの夫々の内側に存在することを見計らって、リズムボタンBl,Br,Btの夫々を押下する(叩く)。これにより、ユーザは、リズムボタンBl,Br,Btの夫々を好適なタイミングで押下できた(叩けた)ことになる。
【0037】
情報J3は、ユーザのリズムボタンBl,Br,Btの夫々の押下ミスの回数を示す情報である。なお、情報J3の表示の態様は、上述の情報J1やJ2と同様であるため説明を省略する。
【0038】
表示領域D5には、情報J4乃至J6と、リズムマークM3とが表示される。
【0039】
情報J4は、ユーザの歌唱力に対する「評価の厳密さ」を複数種類のモードによって示した情報のことをいう。即ち、本システムでは、ユーザの歌唱力のレベルの違いに応じて「評価の厳密さ」に差異を設けることができる。
具体的には例えば、ユーザがプロの歌手である場合と小学生である場合とで「評価の厳密さ」に差異を設けることができる。即ち、ユーザがプロの歌手である場合には、より厳密に評価することで、素人では判断できないような僅かな歌唱上の差異点を評価結果に出力することができる。これに対して、ユーザが小学生である場合には、比較的甘い評価を行うことで、歌唱力アップに対する興味を持たせることができる。
なお、モードの種類としてどのようなものがあるかについては特に限定されない。例えば評価の厳密さが低いものから順に「簡単モード」、「普通モード」、「難しいモード」といったように種類分けすることもできる。
【0040】
情報J5は、ユーザの歌唱力の評価に関する情報のことをいう。本システムでは、ユーザの歌唱に対する評価が行われ、その評価結果が点数によって示される。評価結果としての点数には、ランク付けのための複数の閾値が設けられている。例えばユーザが獲得した点数が、ある閾値Zを上回る場合には歌唱力のランクがアップし、ある閾値Xからある閾値Yの間である場合にはランクがキープされ、ある閾値Xを下回る場合には歌唱力のランクがダウンする。このように、ユーザの歌唱力をランクによって管理することで、例えば楽曲よって獲得点数に開きがあるユーザよりも、楽曲を問わず高い点数を獲得できるユーザの方が歌唱力のランクが高くなる、といった管理が可能となる。
つまり、「歌唱力の評価に関する情報」とは、ユーザの歌唱力のランクをアップさせるために獲得すべき点数と、ユーザの歌唱力のランクをキープさせるために獲得すべき点数とを示す情報のことをいう。
具体的には例えば、
図2の例では、「めざせ ランクアップ 85点」という表記と、「ランクキープ 81点」という表記が表示されている。これは、ユーザの歌唱力のランクをアップさせるために獲得すべき点数が85点であり、ユーザの歌唱力のランクをキープさせるために獲得すべき点数が81点であることを示している。
【0041】
情報J6は、一定区間の歌唱に対する評価に応じて表示される特別な情報のことをいう。具体的には例えば、特別な情報として、歌唱時の感情表現に関するアドバイスを表示させることができる。この場合、
図2に示すように、「HEAT UP!!」という文言や、図示はしないが、「COOL DOWN」という文言が表示される。
これにより、ユーザは、どのような感情で歌唱すればよいのかを好適なタイミングで把握することができる。
【0042】
リズムマークM3は、演奏中の楽曲のリズムに合わせて動作するシンボルであり、基本的な構成は上述のリズムマークM1及びM2と同様である。このため、リズムマークM3についての説明は省略する。
【0043】
図1に示す罫線L1,L2,L4,L5、歌唱標識T、音程バーP、歌詞単位W、楽器標識Gi,Gl,Gr,Gtは、楽曲の再生に伴い、画面右側から左側に向かってスクロールする。ユーザは、画面右側から左側に向かってスクロールする歌唱標識Tの中心と、罫線L3とが重なるタイミングを見計らって、対応する歌詞単位Wを歌唱する。
ここで、ユーザが、好適なタイミングで歌詞単位Wを歌唱すると、歌唱標識Tが破裂する動作を表すアニメーションが表示される。また、歌唱のタイミングと音高とが正確であるかどうかに応じて、歌唱標識Tが存在していた位置の近傍に「Perfect」あるいは「Good」といった表記が表示される。さらに、「Good」以上の良い評価を示す表記が継続的に表示されると、いわゆる「コンボ(コンビネーションボーナス)」の値を示す数字(例えば
図2の例では「4」)がカウントアップされる。
【0044】
また、ユーザは、歌唱とともにリズムゲームをプレイする場合には、画面右側から左側に向かってスクロールする楽器標識Gi,Gl,Gr,Gtの夫々が枠Fi,Fl,Fr,Ftの夫々の内側に収まるタイミング(あるいは罫線L3に重なるタイミング)を見計らって、リズムボタンBi,Bl,Br,Btのいずれかを押下する(叩く)。
ここで、ユーザが、好適なタイミングでリズムボタンBi,Bl,Br,Btのいずれかを押下する(叩く)と、これに対応する楽器標識Gi,Gl,Gr,Gtのいずれかが破裂する動作を表すアニメーションが表示される。また、リズムボタンBi,Bl,Br,Btのいずれかを押下する(叩く)タイミングが正確であるかどうかに応じて、枠Fi,Fl,Fr,Ftの夫々の近傍に「Perfect」あるいは「Good」といった表記が表示される。さらに、「Good」以上の良い評価を示す表記が継続的に表示されると、いわゆる「コンボ(コンビネーションボーナス)」の値を示す数字(例えば
図2の例では「3」及び「9」)がカウントアップされる。
【0045】
なお、本システムでは、「Good」という表記が表示されるタイミングよりも、「Perfect」という表記が表示されるタイミングを早くすることができる。これにより、ユーザに判定結果を迅速に認識させることができる。
本システムでは、歌唱のタイミングが予め定められた時間(以下、「規定猶予時間」と呼ぶ)内に収まり、かつ、歌唱の音高が予め定められた音高差(以下、「規定音高差」と呼ぶ)内に収まると判定評価が高くなる。
具体的には例えば、音高差に閾値を設けることによる評価手法が、「Perfect」、「Good」、及び「Miss」の3段階によるものであったとする。この場合、規定猶予時間内に、「Good」の条件(例えば音高差が半音ずれに収まることという条件)を満たすと、「Good」と「Perfect」に共通の表示(例えば歌唱標識Tの破裂表現)を開始する。そして、歌唱標識Tが破裂し、その後、規定猶予時間が経過する前に音高が「Perfect」となる条件(例えば音高差が1/4音ずれに収まるという条件)が満たされると、直ちに「Perfect」という表記が表示される。
なお、規定猶予時間が経過して、音高がPerfectの条件を満たさなかった場合には、「Good」が表示される。
【0046】
図3には、ユーザが音を外した(音高がずれた)タイミングでディスプレイに表示される画面の一例が示されている。
図4には、ユーザが長い音(ロングトーン)を歌唱すべきタイミングでディスプレイに表示される画面の一例が示されている。
【0047】
ユーザが歌唱中に音を外すと(音高がずれると)、例えば
図3に示すように、罫線L1上の音程バーP1及びP2の夫々の位置と、歌唱グラフS1及びS2の夫々の位置とに乖離が生じる。この場合、本システムは、ユーザの歌唱ミスと判定する。すると、図示はしないが、例えば歌唱標識T1及びT2の夫々に「Miss」といった表記が表示される。そして、歌唱標識T1及びT2は、破裂することなくそのまま画面左方向にフェードアウトする。また例えば、歌唱標識T1及びT2は、「Miss」といった表記を表示させることなく、ミスを想起させるような暗い色等に態様を変化させて、破裂することなくそのまま画面左方向にフェードアウトする。
【0048】
ユーザが長い音(ロングトーン)を歌唱する場合は、
図4に示すように、音の最初だけではなく、音程バーP上の複数の位置に、判定ポイントとなる歌唱標識Tが表示されるようにしてもよい。
具体的には例えば、最初(音程バーPの左端部)と、最後(音程バーPの右端部)との合計2か所に歌唱標識Tを表示させてもよい。また、最初(音程バーPの左端部)と、最後(音程バーPの右端部)と、中間(音程バーPの中央部)との合計3か所に歌唱標識Tを表示させてもよい。これにより、ユーザは、どこまで音を伸ばして歌唱すべきであるかを明確に意識することができる。なお、
図4の例では、予め定めた長さ(以下、「規定間隔」と呼ぶ)よりも長い音の場合は、規定間隔後に1つだけ追加的に歌唱標識Tが表示される構成になっている。なお、追加的に表示される歌唱標識Tの位置は特に限定されない。規定間隔後でもよいし、中間(音程バーPの中央部)や最後(音程バーPの右端部)であってもよい。また、音程バーP上に追加的に表示される歌唱標識Tは1つである必要はなく、複数の歌唱標識Tが追加的に表示されてもよい。
【0049】
図5は、
図1乃至
図4に示す本システムに適用される情報処理装置、即ち本発明の一実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
【0050】
情報処理装置1は、CPU(Central Processing Unit)11と、ROM(Read Only Memory)12と、RAM(Random Access Memoy)13と、バス14と、入出力インターフェース15と、入力部16と、出力部17と、記憶部18と、通信部19と、ドライブ20と、を備えている。
【0051】
CPU11は、ROM12に記録されているプログラム、又は記憶部18からRAM13にロードされたプログラムに従って各種の処理を実行する。
RAM13には、CPU11が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【0052】
CPU11、ROM12及びRAM13は、バス14を介して相互に接続されている。このバス14にはまた、入出力インターフェース15も接続されている。入出力インターフェース15には、入力部16、出力部17、記憶部18、通信部19及びドライブ20が接続されている。
【0053】
入力部16は、各種ハードウェア釦等で構成され、操作者の指示操作に応じて各種情報を入力する。
出力部17は、液晶等のディスプレイにより構成され、各種画像を表示する。
【0054】
記憶部18は、DRAM(Dynamic Random Access Memory)等で構成され、各種データを記憶する。
通信部19は、インターネットを含むネットワークNWを介して他の装置との間で行う通信を制御する。
【0055】
ドライブ20は、必要に応じて設けられる。ドライブ20には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア40が適宜装着される。ドライブ20によってリムーバブルメディア40から読み出されたプログラムは、必要に応じて記憶部18にインストールされる。また、リムーバブルメディア40は、記憶部18に記憶されている各種データも、記憶部18と同様に記憶することができる。
【0056】
このような
図5の情報処理装置1の各種ハードウェアと各種ソフトウェアとの協働により、情報処理装置1による後述する各種処理の実行が可能になる。
【0057】
図6は、
図4の情報処理装置により実行が制御される処理のうち、歌唱支援処理を実現させる機能的構成の一例を示す機能ブロック図である。
【0058】
「歌唱支援処理」とは、ユーザの歌唱を評価し、その評価結果に基づいて、歌唱中のユーザにとって効果的となるタイミングで、歌唱支援情報を提供する処理のことをいう。
【0059】
図6に示すように、情報処理装置1のCPU11においては、歌唱支援処理の実行が制御される場合には、取得部101と、解析部102と、判定部103と、生成部104と、表示制御部105とが機能する。また、情報処理装置1の記憶部18の一領域には、楽曲DB181が設けられている。楽曲DB181には、本システムで利用可能な複数の楽曲に関する情報(以下、「楽曲データ」と呼ぶ)が記憶されて管理されている。楽曲データには、楽曲を一意に特定可能な情報と、楽曲の内容を示す情報とが含まれる。
【0060】
取得部101は、入力されたユーザの歌唱に関する音声データを歌唱データとして取得する。
【0061】
解析部102は、取得部101により取得された歌唱データの解析を行う。具体的には、解析部102は、取得部101により取得された歌唱データと、対象となる楽曲の楽曲データとに基づいて、音高、音程、音量、リズム等あらゆる視点からの解析を行う。
【0062】
判定部103は、解析部102による解析の結果に基づいて、歌唱に対する判定を行う。
【0063】
生成部104は、解析部102による解析の結果、及び判定部103による判定の結果に基づいて、歌唱支援情報を生成する。
【0064】
表示制御部105は、音高を示す第1軸と、時間を示す第2軸とにより示される表示領域を表示させる制御を実行する。
【0065】
また、表示制御部105は、生成部104により生成された歌唱支援情報を表示する制御を実行する。
具体的には、表示制御部105は、歌唱支援情報として、表示領域において、所定音高で各音の歌唱を開始すべきタイミングに対応する第2軸の方向に沿った位置であって、所定音高に対応する第1軸の方向に沿った位置に、歌唱標識Tを表示する制御を実行する。
また、表示制御部105は、歌唱支援情報として、歌唱すべき音高の長さを示す音程バーPを表示する制御を実行する。
また、表示制御部105は、歌唱支援情報として、現時点を示す罫線L3を表示する制御を実行する。具体的には、表示制御部105は、再生されている楽曲の現時点を示す罫線L3を表示する制御を実行する。
【0066】
以上本発明の情報処理装置の一実施形態について説明したが、本発明は上述した本実施形態に限るものではない。また、本実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙に過ぎず、本発明による効果は、本実施形態に記載されたものに限定されるものではない。
【0067】
例えば、上述の実施形態では、歌唱標識Tと歌詞単位Wとが別々に表示されているが、これに限定されず、例えば歌唱標識Tを示すシンボルの中に歌詞単位Wを表示させてもよい。これにより、ユーザ歌唱すべき歌詞単位Wと、タイミングと、音高と、音程と、音の長さとを同時に表現することができる。
【0068】
また例えば、上述の実施形態では、ユーザの歌唱ミスと判定された場合、歌唱標識Tは破裂しない(変化しない)が、これに限定されず、例えば歌唱ミスを表す何等かの変化(アニメーション等)を表示させてもよい。
【0069】
また例えば、上述の実施形態では、ユーザの歌唱に対する評価結果に応じて、「Perfect」、「Good」、「Miss」といった表記が表示されるが、これに限定されない。例えば、歌唱を開始したタイミングで直ちに音高のずれによる歌唱ミスと判定された場合、具体的にどのようにずれていたのかを即座に判定して、その判定結果をメッセージで表示させてもよい。具体的には例えば、「速い」、「遅い」、「高い」、「低い」といったメッセージが表示されるようにしてもよい。これにより、ユーザは、早いタイミングで自分の歌唱ミスの原因を把握することができるので、同じような歌唱部分(例えばある楽曲の1番を歌唱している場合における2番や3番)に気を付けて歌唱することができる。
【0070】
また例えば、上述の実施形態では、罫線L1上に配置される音程バーPや歌唱グラフSの線の太さは一定であるが、これに限定されない。例えば、歌唱すべき音量に応じて音程バーPの態様に変化を持たせてもよい。具体的には、色、模様、太さによって変化を持たせたり、3D(三次元)によって遠近に変化を持たせたりすることで、歌唱すべき音量を直感的に把握できるようにしてもよい。また、実際の歌唱の音量に応じて、歌唱グラフSの線に同様の変化を持たせてもよい。これにより、ユーザが歌唱に抑揚をつけ易くなることが期待できる。
【0071】
また例えば、上述の実施形態では、ユーザが1人で歌唱することが前提となっているが、デュエットやコーラスなど複数人のユーザが歌唱した場合にも本システムを適用することができる。
この場合、表示態様の異なる(例えば色や模様の異なる)複数の歌唱標識T、音程バーP、及び歌唱グラフSの夫々が罫線L1上に表示されるようにしてもよい。これにより、複数人のユーザの夫々は、自分が歌唱すべき音高、音程、音量等について間違わずに歌唱することができる。
さらに、上述の実施形態では、音程バーPは単色の線であるが、細かい音程の変化や、しゃくり、ビブラートといった歌唱技工すべき箇所に応じて、色や模様の変化をつけたり、曲線にしたりといった加工が施されてもよい。これにより、ユーザの理解を助ける効果が期待できる。
【0072】
また例えば、上述の実施形態では、図示せぬ2種類のリズムゲーム用コントローラが用いられているが、これに限定されない。n種類(nは1以上の整数値)のリズムゲーム用コントローラが用いられてよい。また、リズムゲーム用コントローラを用いることなく、他の手法(例えばジェスチャー等)によってリズムゲームを行えるようにしてもよい。
【0073】
また例えば、上述の実施形態では、罫線L1,L2,L4,L5、歌唱標識T、音程バーP、歌詞単位W、楽器標識Gi,Gl,Gr,Gtは、楽曲の再生に伴い画面右側から左側に向かってスクロールする。ただし、これに限定されない。例えば、罫線L1,L2,L4,L5、歌唱標識T、音程バーP、歌詞単位W、楽器標識Gi,Gl,Gr,Gtを固定表示し、再生される楽曲の現時点を示す罫線L3や枠Ft,Fr,Fl,Fi等が画面左側から右側にスクロールするようにしてもよい。この場合、罫線L3等が画面右端までスクロールすると、固定表示された部分(歌唱標識T、音程バーP、歌詞単位W等)が次の表示に切り替わり、再び罫線L3等が画面左端に出現して、画面右側から左側に向かってスクロールするようにしてもよい。
【0074】
また、
図5に示すハードウェア構成は、本発明の目的を達成するための例示に過ぎず、特に限定されない。
【0075】
また、
図6に示す機能的構成は例示に過ぎず、特に限定されない。
即ち、上述した一連の処理を全体として実行できる機能が情報処理装置に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に
図6の例に限定されない。また、機能ブロックの存在場所も、
図6に特に限定されず、任意でよい。例えば、情報処理装置1の機能ブロックを図示せぬ他の情報処理装置等に移譲させてもよい。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【0076】
また例えば、一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。
また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えばサーバの他汎用のスマートフォンやパーソナルコンピュータであってもよい。
【0077】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される
図5のリムーバブルメディア40により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア40は、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)等により構成される。光磁気ディスクは、MD(Mini-Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている
図5のROM12や記憶部18に含まれるハードディスク等で構成される。
【0078】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【0079】
以上まとめると、本発明が適用される情報処理装置は、次のような構成を取れば足り、各種各様な実施形態を取ることができる。
即ち、本発明が適用される情報処理装置は、
音高を示す第1軸と、時間を示す第2軸とにより示される表示領域を表示させる第1表示制御手段(例えば
図6の表示制御部105)と、
前記表示領域において、所定音高で各音の歌唱を開始すべきタイミングに対応する前記第2軸の方向に沿った位置であって、前記所定音高に対応する前記第1軸の方向に沿った位置に、第1標識(例えば
図1の歌唱標識T)を表示する制御を実行する第2表示制御手段(例えば
図6の表示制御部105)と、
歌唱すべき音高の長さを示す第2標識(例えば
図1の音程バーP)を表示する制御を実行する第3表示制御手段(例えば
図6の表示制御部105)と、
現時点を示す第3標識(例えば罫線L3)を表示する制御を実行する第4表示制御手段(例えば
図6の表示制御部105)と、
を備える。
【0080】
これにより、音高と時間とで示される二次元の表示領域に、第1標識と第2標識とが表示されて、各音を歌唱開始すべきタイミングに対応する位置に第1標識が表示される。即ち、その音を歌い出すべきタイミングに対応する位置に第1標識が予め表示されているので、歌唱開始のタイミングが明確になり、歌唱者が歌い出しに着目してリズムよく歌唱ができるようになる。
【0081】
また、前記第2表示制御手段は、
前記表示領域において、リズムゲームの所定操作(例えばリズムボタンBi,Bl,Br,Btの夫々を押下する操作)をすべきタイミングに対応する前記第2軸の方向に沿った位置に、前記所定操作に対応する第4標識(例えば
図1の楽器標識G)を表示する制御をさらに実行し、
前記第1表示制御手段、前記第2表示制御手段、前記第3表示制御手段、及び前記第4表示制御手段の夫々の制御の組み合せにより、前記リズムゲームとカラオケとを同時に利用可能とすることができる。
【0082】
これにより、第1標識、第2標識、第3標識、及び第4標識を表示可能とするリズムゲームとカラオケとを同時に利用することができるようになる。その結果、ユーザは、リズムゲームとカラオケとの一体感を感じながらプレイすることができる。
【0083】
また、前記第1表示制御手段、前記第2表示制御手段、前記第3表示制御手段、及び前記第4表示制御手段の夫々の制御により表示される対象を前記第2軸の方向に沿ってスクロール表示させることができる。
【0084】
これにより、楽曲の長さを問わず、あらゆる楽曲を本システムに適用することができる。
【0085】
また、歌唱の音高及びタイミングに対する評価の結果に応じて前記第1標識を変化(例えば、消失、形状変化、変色等)させることができる。
【0086】
これにより、歌唱に対する評価結果がより認識し易くなる。その結果、ユーザは瞬時に評価結果を把握することができる。
【0087】
また、前記第2表示制御手段の制御により前記第1標識が表示されるタイミングで、当該第1標識に対応する歌詞を表示する制御を実行する第5表示制御手段をさらに備えることができる。
【0088】
これにより、第1標識と歌詞とが同じタイミングで表示される。その結果、ユーザは、歌詞と第1標識との対応関係を容易に認識することができる。
【0089】
また、前記第2表示制御手段は、
前記第3表示制御手段の制御により表示される前記第2標識の長さが所定の閾値を超える場合に、前記第1標識を複数表示する制御を実行することができる。
【0090】
これにより、第2標識上に第1標識が複数表示されるので、ユーザは、どこまで音を伸ばして歌唱すべきかを明確に意識することができる。
【符号の説明】
【0091】
1・・・情報処理装置、11・・・CPU、12・・・ROM、13・・・RAM、14・・・バス、15・・・入出力インターフェース、16・・・出力部、17・・・入力部、18・・・記憶部、19・・・通信部、20・・・ドライブ、40・・・リムーバブルメディア、101・・・取得部、102・・・解析部、103・・・判定部、104・・・生成部、105・・・表示制御部、181・・・楽曲DB、T・・・歌唱標識、P・・・音程バー、L・・・罫線、G・・・楽器標識、W・・・歌詞単位、D・・・表示領域、F・・・枠、S・・・歌唱グラフ、M・・・リズムマーク、J・・・情報