(58)【調査した分野】(Int.Cl.,DB名)
【背景技術】
【0002】
近年、カラオケルームに設置されたカラオケ装置の演奏に合わせて利用者が歌唱する際に、良い発声をするために、また美容や健康のために、口を大きく開けて歌唱することが推奨されている。カラオケ歌唱においては、極端に口を大きく開けることにより顎関節への負担が増して弊害が生じる可能性があるため、大きく口を開けることを意識するのではなく、下顎の関節をリラックスさせてスムーズに動かすことを意識することが必要と考えられている。一方で、気心の知れたメンバーと歌唱するような時は、指導者のもとで歌唱する場合とは異なり、特に顎の動きなど気に留めることもなく、さらにマイク信号の増幅機能により余り下顎骨を動かさずに歌唱する傾向が強く、このような歌唱者の傾向に対しては、下顎の関節をリラックスさせてスムーズに動かすことを意識させるカラオケコンテンツの提供が望まれる。
【0003】
従来、顎の動きを検出する技術として、例えば、特許文献1のように、咀嚼によって生じる筋肉の動きによる耳道内の圧力変化を、外耳道内に挿入した圧力センサによって感知して測定し、その圧力変化の回数を咀嚼回数として表示する技術が知られている。また、特許文献2のように、基台部を人体に密着させ、当該基台部に連続して検知手段が位置されて咀嚼により派生する動きを検知し、この検知信号を受信して咀嚼回数として記録して表示する技術も知られている。
【0004】
一方、カラオケにおいては歌唱者の口の形状の適切さを採点結果に反映させる技術が知られており、例えば、特許文献3のように、口の理想的な縦横比を表す形状データを母音ごとに有する理想形状データとして記憶しておき、演奏中の楽曲データ内の歌詞データに基づいて特定される歌唱者が現に発音すべき音節を、当該音節を構成する母音に応じた形状データを理想形状データから抽出し、この抽出した形状データの縦横比に対するカメラの撮像画像から計測された歌唱者の口の縦横比の形状適合度を算出して、この形状適合度に基づく画像点数データを生成する技術が知られている。
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、カラオケ楽曲を歌詞に従って歌唱することは咀嚼と同様に顎を動かすことになるため、特許文献1や特許文献2に記載の咀嚼回数を検出できる装置を歌唱者が装着することで、歌唱の際の顎の動きを検出することが可能となるが、咀嚼回数を楽曲に関連付けることができず、歌唱時に歌詞に沿ってスムーズな顎の動きが出来ているか否かを特定して良い発声を促す歌唱支援とすることができないという問題がある。
【0007】
また、特許文献3に記載の技術は、単に歌唱採点をさせる手法に過ぎず、歌唱時の口の形状の特定だけでは歌唱時に歌詞の沿ってスムーズな顎の動きが出来ているか否かを判定することができず、良い発声を促す歌唱支援とさせることができないという問題がある。
【0008】
そこで、本発明は上記課題に鑑みなされたもので、歌唱時に下顎の関節をリラックスさせてスムーズに動かすことを意識させて良い発声を促す歌唱を支援するカラオケ装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記課題を解決するために、請求項1の発明では、歌唱による歌唱者の顎の動きを検出する検出装置と通信自在であり、当該
検出装置から送信されてくる検出信号を受信可能なカラオケ装置であって、楽曲の演奏中に前記検出装置より受信した検出信号を計数する計数処理手段と、歌唱される前記楽曲の歌詞データに含まれる歌詞文字の音節に応じて歌唱者の顎の動きを推測するリファレンス回数を、音節と顎の開閉回数とを予め設定した所定数の音節テーブルに基づいて算出するリファレンス情報処理手段と、前記計数処理手段で計数された回数と、前記リファレンス情報処理手段で算出されたリファレンス回数とを比較し、比較結果の差が小さいほど高評価を与える比較評価手段と、を有する構成とする。
【0010】
請求項2の発明では、「前記歌詞データは、歌詞文字列単位で複数の歌唱区間に区分されており、前記所定数の音節テーブルは、一つの音節を発声する際の顎の開閉回数を対応付けた単音節テーブル、二つの音節について第一の音節を発声した状態から第二の音節を発声する際の顎の開閉回数を当該二つの音節の順による組に対応付けた2連音節テーブルであり、前記リファレンス情報処理手段は、前記歌唱区間ごとに、前記歌詞データの先頭文字から順次音節を特定する音節特定手段と、前記音節特定手段により特定された音節が、歌唱区間の先頭の場合に当該音節に対応する顎の開閉回数を前記単音節テーブルより特定し、歌唱区間の先頭以外の音節の場合に当該音節の直前の音節と当該音節の順による組に対応する顎の開閉回数を前記2連音節テーブルから特定するリファレンス回数特定手段と、を備える、」構成とする。
【発明の効果】
【0011】
請求項1の発明によれば、楽曲の演奏中に検出装置より受信した検出信号を計数し、歌唱される楽曲の歌詞データに含まれる歌詞文字の音節に応じて歌唱者の顎の動きを推測するリファレンス回数を、音節と顎の開閉回数とを予め設定した所定数の音節テーブルに基づいて算出し、当該検出信号を計数した回数と、当該算出されたリファレンス回数とを比較して比較結果の差が小さいほど高評価を与える構成とすることにより、実際に歌唱した際に顎を動かした回数と、当該楽曲の顎を動かすべき回数とを比較することから、歌唱者はこの比較結果により歌唱時にスムーズな顎の動きが出来ているか否かを確認することが可能となり、歌唱時に下顎の関節をリラックスさせてスムーズに動かすことを意識させて良い発声を促す歌唱を支援することができるものである。
【0012】
請求項2の発明によれば、歌詞データは、歌詞文字列単位で複数の歌唱区間に区分されており、一つの音節を発声する際の顎の開閉回数を対応付けた単音節テーブル、二つの音節について第一の音節を発声した状態から第二の音節を発声する際の顎の開閉回数を当該二つの音節の順による組に対応付けた2連音節テーブルを備え、歌唱区間ごとに、歌詞データの先頭文字から順次音節を特定し、特定された音節が、歌唱区間の先頭の場合に当該音節に対応する顎の開閉回数を単音節テーブルより特定し、歌唱区間の先頭以外の音節の場合に当該音節の直前の音節と当該音節の順による組に対応する顎の開閉回数を2連音節テーブルから特定する構成とすることにより、歌詞データより楽曲歌唱の際に開閉するであろうリファレンス回数を推測、特定することから、数万曲にも及ぶカラオケ楽曲に対して予めデータを作成する必要がなく、簡易構成で実現することができるものである。
【発明を実施するための形態】
【0014】
以下、本発明の実施形態を図により説明する。
図1に本発明に係るカラオケ装置のブロック構成図を示すと共に、
図2に
図1の単音節テーブル及び2連音節テーブルの説明図を示し、
図3にリファレンス回数特定対象の歌詞データの説明図を示し、
図4に
図1の検出装置のブロック構成図を示す。
【0015】
図1において、カラオケ装置11は、主要装置としてのカラオケ本体12に、有線又は無線で外部接続されるものとして、表示部13、ミキシングアンプ14、マイク15、スピーカ16、遠隔入出力装置17が接続されることで構成され、当該カラオケ本体12は、所定数の検出装置18(18A〜18N)に対して通信自在とされる(検出装置18については
図4で説明する)。
【0016】
上記表示部13は、通常の楽曲選曲表示やカラオケ演奏時の背景映像等を表示するもので、例えば液晶ディスプレイ(LCD)、プラズマディスプレイ(PDP)、その他種々のディスプレイを採用することができる。上記ミキシングアンプ14は、カラオケ本体12より送られてくる音楽演奏信号に、マイク15からの音声信号をミキシングし、増幅してスピーカ16より出力する。
【0017】
上記遠隔入出力装置17は、図示しない端末送受信部により、カラオケ本体12に対して有線方式ないし無線方式(IR方式やブルートゥース(登録商標)機構のピコネット接続方式など)を利用してデータ授受を行うためのもので、少なくともログイン・ログアウト処理手段17A、楽曲検索手段である選曲楽曲登録手段17B、検出装置選択手段17C及びリモコン表示部17Dを適宜備える。
【0018】
上記ログイン・ログアウト処理手段17Aは、利用者によるログイン操作に応じて当該利用者より利用者名や利用者IDを取得し、RAM23に利用者情報42として記憶してログインを許可する処理を行うと共に、ログアウト操作に応じて利用終了の処理を行うプログラムである。なお、遠隔入出力装置17は後述のGUI機能によって利用者が歌唱したい楽曲を検索して予約することが可能であるが、利用者は先にカラオケ装置11にログインしていることが望ましい。
【0019】
上記選曲楽曲登録手段17Bは、楽曲IDや曲名、アーチスト名などのデータからなるテーブルに基づいて、利用者が所望する楽曲を検索させ、選曲された楽曲の楽曲IDをカラオケ本体12に送信するプログラムである。送信された楽曲IDは、カラオケ本体12におけるRAM23予約待ち行列41に登録される。上記検出装置選択手段17Cは、検出装置18とログインした利用者とを対応付けるプログラムである。
【0020】
具体的には、リモコン表示部17Dに、既にカラオケ装置11とペアリングがなされている検出装置18A〜18Nのリストを表示させ、当該リストの中から、自分の使用する検出装置18を選択することで利用者と検出装置18とを対応付け、その情報をRAM23に利用者情報42の一つとして記憶する。そして、利用者は楽曲予約時に、歌唱者として自分を選択した上で予約操作を行えば、当該楽曲の演奏時にカラオケ装置11は、当該利用者に対応付けられている検出装置18からの検出信号のみを受信することになる。
【0021】
上記リモコン表示部17Dは、液晶ディスプレイ(LCD)とタッチセンサとを積層して入出力用とし、表示されるアイコン等に対応して当該タッチセンサにより楽曲の選択などのデータを入力することができるGUIのユーザインタフェース機能を有するものである。
【0022】
上記カラオケ本体12は、バス20、中央制御部21、ROM22、RAM23、映像表示制御手段24、音楽演奏制御部25、音源(シンセサイザ)25A、採点手段26、A/D変換部26A、送受信部27、記憶部28、検出信号受信部31、計数処理手段32、音節特定手段33、リファレンス回数特定手段34及び比較評価手段35を備える。音節特定手段33及びリファレンス回数特定手段34によりリファレンス情報処理手段を構成する。
【0023】
上記RAM23には予約待ち行列41、利用者情報42、対象歌詞データ43、歌詞対応集計値44及び検出計数値45の記憶領域が形成される。また、記憶部28には、楽曲データベース(楽曲DB)51、映像データベース(映像DB)52、リファレンスデータベース(リファレンスDB)53、単音節テーブル54及び2連音節テーブル55が記憶される。なお、上記各構成について、本発明の要旨と直接関連しない要素部分であっても、従前のカラオケシステムにおいても大部分が適用可能であることを示すために、構成要素の全体を説明する。
【0024】
上記中央制御部21は、このシステムを統括的に処理制御する物理的なCPUであり、ROM22に記憶されているプログラムに基づくアルゴリズム処理を行う。上記RAM23は、予約待ち行列41、利用者情報42、対象歌詞データ43、歌詞対応集計値44及び検出計数値45の記憶領域が形成される他に、上記種々のプログラムを展開、実行させるための作業領域としての役割をなすもので、例えば半導体メモリで構成され、仮想的にハードディスク上に構築される場合をも含む概念である。
【0025】
RAM23に記憶される上記対象歌詞データ43は、楽曲の演奏される際に楽曲IDに基づく楽曲DB51より読み出した歌詞データである(
図3参照)。この歌詞データは表示部13の所定の位置に画面表示させるための表示レイアウトデータが付加された歌詞文字の文字コードの集合であり、これら各歌詞文字を色変え処理するタイミングデータが含まれる。また、この歌詞データは頁と行によって区分されており、頁は表示部13の1画面分における最大表示単位、行は表示部13に表示したときの横1行分の文字列であり、この頁、または行をひとつの歌唱区間として後述の回数特定処理を行う。なお、読み出し処理は、予約待ち行列41に予約登録されて演奏開始時に中央制御部21により行われるが、この処理に特化したプログラムを別に備えさせてもよい。
【0026】
上記映像表示制御手段24は、演奏時に、映像DB52より抽出された背景映像及び楽曲DB51より抽出された楽曲の歌詞データを表示部13に出力するプログラム乃至電子回路である。なお、比較評価手段35における評価を表示させることとしてもよい。上記音楽演奏制御部25は、例えばシーケンスプログラムを備え、楽曲IDで楽曲DB51より抽出された音符データに従って音源(シンセサイザ)25Aを駆動するもので、当該音源25Aの出力は演奏信号としてミキシングアンプ14に出力される。
【0027】
上記採点手段26は、利用者による歌唱音声のピッチを検出して後述の楽曲ごとの主旋律のリファレンスデータの各音高と比較することにより採点するもので、マイク15から入力されA/D変換部26Aでデジタル変換された音声信号を、歌唱採点するためのリファレンスデータに基づいて採点処理を行うプログラムである。具体的には、例えば特許第4222915号公報に記載されている手法を用いることができる。
【0028】
上記送受信部27は、遠隔入出力装置17との間で有線方式ないし無線方式(IR方式やブルートゥース(登録商標)機構のピコネット接続方式など)を利用してデータ授受を行うためのもので、そのための電子回路及びプログラムである。
【0029】
上記記憶部28に記憶されている楽曲DB51は、楽曲毎に、音符データ、歌詞データなどを格納する。演奏に関して、具体的には、楽曲ID、曲名及びアーチストID(アーチスト名)が関連付けられた楽曲テーブルを有し、楽曲毎に、楽曲IDで管理される所定データ形式のカラオケ楽曲の音符データ(例えば、MIDI(登録商標)形式の音符データ)等で構成される楽曲データ(ファイル)について当該楽曲IDをファイル名としてそれぞれ格納したデータベースである。上記記憶部28に記憶されている映像DB52は、楽曲毎に応じた背景映像データについて楽曲IDをファイル名としてそれぞれ格納したデータベースである。
【0030】
上記記憶部28に記憶されているリファレンスDB53は、楽曲ごとの主旋律のリファレンスデータであって、上記楽曲DB51に記憶されているカラオケ楽曲と当該カラオケ楽曲の歌唱区間に合わせた歌唱者による歌唱を評価、分析するための評価基準として用いられるリファレンスデータとを紐付けて記憶するデータベースである。
【0031】
上記記憶部28に記憶されている単音節テーブル54は、歌詞データにおける対象の音節が、歌唱区間の先頭の場合に当該対象の音節を発声するに際して、顎を開く方向、または閉じる方向に動かす回数を特定したテーブルであり、
図2(A)に示すように、対象の音節である「母音」若しくは「子音+母音」の一つの音節に対して顎の開閉回数を予め設定したものである。なお、歌唱区間の先頭の音節は、顎を閉じた状態から歌唱区間の先頭の音節を発声するに際しての顎が動く回数を設定している。
【0032】
上記記憶部28に記憶されている2連音節テーブル55は、歌詞データにおける対象の音節が、歌唱区間の先頭以外の音節の場合に当該対象の音節の直前の音節と当該対象の音節との二つの音節を順に発生する際に、顎を
開く方向、又は閉じる方向に動かす回数を特定したテーブルであり、
図2(B)に示すように、対象の音節の直前の音節である「母音」若しくは「子音+母音」と、対象の音節である「母音」及び「子音+母音」並びに特殊発声音節(例えば、「母音a」及び「子音+母音a」、「母音e」及び「子音+母音e」、並びに「母音o」及び「子音+母音o」に対しては「は(ha)」、「へ(he)」、「ほ(ho)」、「ん(n)」)の二つの音節の順による組に対して顎の開閉回数を予め設定したものである。なお、歌唱区間の先頭以外の音節は、二つの連続した音節について、一つ目の音節を発声した状態から二つ目の音節を発声するに際しての顎が動く回数を設定している。
【0033】
上記検出信号受信部31は、検出装置18より送信されてくる検出信号を受信するプログラム乃至電子回路である。上記計数処理手段32は、楽曲の演奏中に検出装置18より受信した検出信号を計数し、集計してRAM23に検出計数値45として記憶するプログラム乃至電子回路である。
【0034】
上記音節特定手段33及びリファレンス回数特定手段34で構成されるリファレンス情報処理手段は、歌唱される楽曲の歌詞データの音節に応じて歌唱者の顎の動きを推測するリファレンス回数を、音節と顎の開閉回数とを予め設定した上記単音節テーブル54及び2連音節テーブル55に基づいて算出するもので、音節特定手段33は、RAM23に記憶されている
図3に示す対象歌詞データ43に基づいて歌唱区間ごとに、当該歌詞データの先頭文字から順次音節を特定するプログラムであり(
図5で説明する)、リファレンス回数特定手段34は、音節特定手段33により特定された音節が、歌唱区間の先頭の場合に当該音節に対応する顎の開閉回数を上記単音節テーブル54より特定し、歌唱区間の先頭以外の音節の場合に当該音節の直前の音節と当該音節の順による組に対応する顎の開閉回数を上記2連音節テーブル55から特定して集計し、RAM23に歌詞対応集計値44として記憶するプログラムである(
図5及び
図6で説明する)。
【0035】
上記比較評価手段35は、上記計数処理手段32で計数された検出装置18からの受信検出回数としてRAM23に記憶されている検出計数値45と、リファレンス情報処理手段(音節特定手段33及びリファレンス回数特定手段34)で算出されたリファレンス回数であるRAM23に記憶されている歌詞対応集計値44とを比較し、比較結果の差が小さいほど高評価を与え、遠隔入出力装置17のリモコン表示部17D若しくは表示部13(リモコン表示部17Dと共にでもよい)に表示するプログラムである。なお、評価内容(内容例は後述する)は比較値に応じて予め定めて保持される。
【0036】
ここで、
図1に示される検出装置18は、ウェアラブル端末であって、カラオケルームなどに常備されて利用者によって当該検出装置18を選択的に所持されるもので、予めカラオケ装置11(検出信号受信部31)と近距離無線通信によりペアリングがなされている。検出装置18は、
図4に示すように、装置本体61に検出処理手段62及び検出送信手段63を備え、外部に延長接続された検知センサ64を備える。当該検出処理手段62は、装置IDを保持して装置全体を統御するプログラムを備え、当該利用者がログインしたときに当該検出装置18(装置ID)を選択指定することにより関連付けられてRAM23に利用者情報42の一部として記憶される。
【0037】
上記検出送信手段63は、ペアリングされたカラオケ装置11の検出信号受信部31に対して検知センサ64で検知した検出信号を送信するプログラム乃至電子回路である。上記検知センサ64は、歌唱による顎の動きを検出する圧力センサなどの検出素子を備えるもので、利用者の耳孔内に挿入できる形態のものや、耳孔周辺に装着できる形態などのものを使用することができるものである。
【0038】
そこで、
図5に
図1のリファレンス回数特定手段における歌詞データに基づく回数特定処理の説明図を示すと共に、
図6に
図5の個別音節の回数特定処理の説明図を示す。ここでは、カラオケ楽曲の演奏の際に、
図3に示すRAM23に対象歌詞データ43が記憶されていることを前提とする。
【0039】
カラオケ楽曲の演奏開始の際に、当該楽曲の楽曲IDに基づいて、RAM23より読み出された
図3に示す対象歌詞データ43に対して、音節特定手段33が、
図5に示すように、歌詞データの最初の文字から順に、対象歌詞データの2行分の歌唱区間を一つのフレーズ区間として、文字コードがひらがなである文字を音節としてフレーズ区間ごとに特定していく(漢字は特定しない)。
【0040】
リファレンス回数特定手段34は、
図5に示すように、音節特定手段33により特定された音節に対し、フレーズ区間の先頭の音節に対しては単音節テーブル54を参照して対応する顎の開閉回数を特定し、フレーズ区間の先頭以外の音節に対しては2連音節テーブル55を参照して当該対象の音節の直前の音節と当該対象の音節の順による組に対応する顎の開閉回数を特定していくものである。
【0041】
具体例を示すと、
図6(A)の例では、演奏に沿った
図5の文字番号2の「あ」[(子音+)a]の音節について、フレーズ区間の先頭であるため、単音節テーブル54を参照して対象の音節[(子音+)a]に対応する回数「1」を特定する。また、
図6(B)の例では、演奏に沿った
図5の文字番号3の「た」[(子音+)a]の音節について、フレーズ区間の途中であるため、直前の音節が「あ」[(子音+)a]であることを特定し、2連音節テーブル55を参照して対象の音節[(子音+)a]→[(子音+)a]に対応する回数「2」を特定する。
【0042】
図6(C)の例では、演奏に沿った
図5の文字番号7の「く」[(子音+)u]の音節について、フレーズ区間の途中であるため、直前の音節が「を」[(子音+)o]であることを特定し、2連音節テーブル55を参照して対象の音節[(子音+)o]→[(子音+)u]に対応する回数「1」を特定する。さらに、
図6(D)の例では、演奏に沿った
図5の文字番号8の「も」[(子音+)o]の音節について、フレーズ区間の途中であるため、直前の音節が「く」[(子音+)u]であることを特定し、2連音節テーブル55を参照して対象の音節[(子音+)u]→[(子音+)o]に対応する回数「1」を特定する。
【0043】
そして、リファレンス回数特定手段34において、上記歌詞データの特定する音節ごとに特定したリファレンス回数を集計してRAM23に歌詞対応集計値44として記憶する。一方で、カラオケ演奏に対する利用者の歌唱中に、当該利用者によって使用されている検出装置18より歌唱に際する顎の開閉に対応する検出信号を計数処理手段32が受信して集計し、歌唱終了後にRAM23の検出計数値45として記憶する。
【0044】
そこで、比較評価手段35は、RAM23に記憶されている歌詞対応集計値44と検出計数値45とを比較し、比較結果の差が小さいほど高評価を与えるもので、例えば、「この楽曲の標準的な顎の動く回数は100回、あなたの顎の動いた回数は88回、もう少し顎の動きを意識して歌唱しましょう!」などの表示内容を遠隔入出力装置17のリモコン表示部17D及び表示部13の一方又は両方に表示するものである。
【0045】
このように、実際に歌唱した際に顎を動かした回数と、当該楽曲の顎を動かすべきリファレンス回数とを比較することから、歌唱者はこの比較結果により歌唱時にスムーズな顎の動きが出来ているか否かを確認することが可能となり、歌唱時に下顎の関節をリラックスさせてスムーズに動かすことを意識させて良い発声を促す歌唱を支援することができるものである。
【0046】
また、歌詞データより楽曲歌唱の際に開閉するであろう顎の開閉回数(リファレンス回数)を推測、特定することから、数万曲にも及ぶカラオケ楽曲に対して予めデータを作成する必要がなく、簡易構成で実現することができるものである。