(58)【調査した分野】(Int.Cl.,DB名)
カラオケ装置の備える採点手段による楽曲の歌唱区間毎の歌唱採点値データ及び動画撮影カメラによるカラオケ利用者の歌唱を撮影した歌唱映像データに基づいて、当該歌唱映像データを、歌唱採点値とズーム率が関連付けられたズームテーブルに基づき歌唱区間毎に編集するカラオケ歌唱映像データ編集プログラムであって、
前記歌唱区間毎の歌唱採点値及び動画撮影カメラで撮影された歌唱映像データを取得するステップと、
取得した歌唱映像データから歌唱者の顔領域を認識するステップと、
楽曲の歌唱区間毎に、前記取得した歌唱区間毎の採点値に応じて前記ズームテーブルに基づき歌唱者の認識された顔領域を対応倍率で編集して歌唱動画を作成するステップと、
を含むことを特徴とするカラオケ歌唱映像データ編集プログラム。
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、歌唱動画の投稿を楽しむ利用者が、より出来の良い歌唱動画を撮影して投稿したいと考えるのは自然である。そのような利用者は、歌唱に集中できるよう一人でカラオケルームに入室し、リハーサルを経て満を持して自分の歌唱動画を撮影しようとすることが多い。しかしながら、特許文献1の技術では、ルーム内の撮影カメラはある程度のロングショットで利用者を狙って固定するしかなく、歌唱や振り付けが納得できる出来栄えだったとしても、単調な歌唱動画しか得られないという問題がある。
【0006】
また、特許文献2の技術は、歌唱者の歌唱映像とは無関係な予め用意されたアニメーション等がインサートされただけの編集映像であり、背景映像のバリエーションとして楽しむことはできても、より出来の良い歌唱動画を撮影して投稿したいという利用者の要望に応えられるものではない。
【0007】
さらに、特許文献3の技術は、歌唱者以外に携帯電話機を操作する第三者の存在を前提としており、一人で集中して歌唱し、より出来の良い歌唱動画を作成したいという要望に応えられるものでなく、換言すると、この技術を用いても、第三者の携帯電話機により何がどのような構図で撮影されているかに関係なく、適切と判定された時間的位置で、当該携帯電話機の撮影映像とカラオケルームに設置されたデジタルビデオカメラの撮影映像とを合成するだけである。
【0008】
そこで、本発明は上記課題に鑑みなされたもので、カラオケ利用者の歌唱撮影のカメラ設定を簡易化して高度に編集した映像をウェブサーバに投稿可能とするカラオケ装置及びカラオケ歌唱映像データ編集プログラムを提供することを目的とする。
【課題を解決するための手段】
【0009】
上記課題を解決するために、請求項1の発明では、カラオケルームに設置され、利用者の歌唱を撮影する動画撮影カメラを備えるカラオケ装置であって、前記動画撮影カメラからの歌唱映像データを取得する歌唱映像取得手段と、楽曲歌唱に対して楽曲の所定の歌唱区間毎に歌唱音声を分析して採点する採点手段と、前記歌唱映像取得手段が取得した
歌唱映像データにおいて歌唱者の顔領域を認識し、当該歌唱映像データを、楽曲の歌唱区間毎に、前記採点手段で採点した当該歌唱区間毎の採点値に応じて歌唱者
の当該顔領域を対応倍率で編集して歌唱動画を作成する編集手段と、を有する構成とする。
【0010】
請求項2
,3の発明は、「前記編集手段は、前記歌唱映像データにおいて歌唱者の顔領域を認識し、当該顔領域を前記対応倍率で編集する」構成であり、
「前記編集手段は、前記採点値との対応倍率を、歌唱区間の採点値が高いほど高倍率とするズームテーブルを備える」構成であり、
「楽曲毎に、楽曲演奏の際に表示する背景映像データを備え、前記編集手段は、前記歌唱区間毎に、前記採点手段による採点値が所定値を下回った場合に、前記歌唱映像データの対応歌唱区間を当該楽曲の前記背景映像データにおける対応区間の映像に置き換える」構成である。
【0011】
請求項
4の発明では、カラオケ装置の備える採点手段による楽曲の歌唱区間毎の歌唱採点値データ及び動画撮影カメラによるカラオケ利用者の歌唱を撮影した歌唱映像データに基づいて、当該歌唱映像データを、歌唱採点値とズーム率が関連付けられたズームテーブルに基づき歌唱区間毎に編集するカラオケ歌唱映像データ編集プログラムであって、前記歌唱区間毎の歌唱採点値及び動画撮影カメラで撮影された歌唱映像データを取得するステップと、取得した歌唱映像データから歌唱者の顔領域を認識するステップと、楽曲の歌唱区間毎に、前記取得した歌唱区間毎の採点値に応じて前記ズームテーブルに基づき歌唱者の認識された顔領域を対応倍率で編集して歌唱動画を作成するステップと、を含む構成とする。
【0012】
請求項
5の発明は、対応楽曲の演奏の際に表示される背景映像データを取得し、前記歌唱動画を作成する際に、歌唱区間毎に、前記取得した採点値が所定値を下回った場合に、前記歌唱映像データの対応歌唱区間を当該楽曲の前記背景映像データにおける対応区間の映像に置き換える構成である。
【発明の効果】
【0013】
本発明によれば、動画撮影カメラより取得した
歌唱映像データにおいて歌唱者の顔領域を認識し、当該歌唱映像データを、楽曲の歌唱区間毎に、採点手段で採点した当該歌唱区間毎の採点値に応じて歌唱者
の認識処理した顔領域を対応倍率で編集して歌唱動画を作成する構成とすることにより、カラオケ利用者の歌唱撮影のカメラ設定を簡易化して高度に編集した映像をウェブサーバに投稿させることができ、利用者の満足度を向上させることができるものである。
【発明を実施するための形態】
【0015】
以下、本発明の実施形態を図により説明する。
図1に本発明に係るカラオケ装置のブロック構成図を示すと共に、
図2に
図1の編集手段の構成説明図を示す。
図1において、カラオケ装置11は、主要装置としてのカラオケ本体12に、有線又は無線で外部接続されるものとして、表示部13、ミキシングアンプ14、マイク15、スピーカ16、遠隔入出力装置17、動画撮影カメラ18が接続される。
【0016】
上記表示部13は、通常の楽曲選曲表示やカラオケ演奏時の背景映像等を表示するもので、例えば液晶ディスプレイ(LCD)、プラズマディスプレイ(PDP)、その他種々のディスプレイを採用することができる。上記ミキシングアンプ14は、カラオケ本体12より送られてくる音楽演奏信号に、マイク15からの音声信号をミキシングし、増幅してスピーカ16より出力する。また、ミキシングアンプ14は、マイク15からの音声信号をスルーさせた出力端子が設けられ、当該出力端子は後述のカラオケ本体12のA/D変換部(29)に接続される。
【0017】
上記遠隔入出力装置17は、図示しない端末送受信部により、カラオケ本体12に対して有線方式ないし無線方式(IR方式やブルートゥース(登録商標)機構のピコネット接続方式など)を利用してデータ授受を行うためのもので、少なくとも選曲楽曲登録手段17Aを適宜備えると共に、表示部17B及び表示制御部17Cを備える。この選曲楽曲登録手段17Aは表示部17B上で楽曲を検索させ、選曲させるテーブルを備えるプログラムであり、選曲された楽曲は、後述のカラオケ本体12における予約待ち行列(41)に登録される。なお、選曲画面については
図3(A)で説明する。
【0018】
また、遠隔入出力装置17の表示部17Bは、液晶ディスプレイ(LCD)とタッチセンサとを積層して入出力用とし、表示されるアイコン等に対応して当該タッチセンサにより楽曲の選択などのデータを入力することができるGUIのユーザインタフェース機能を有するものである。表示制御部17Cは、表示部17Bにおける選曲画面等の他に種々の表示を制御するもので、ここでは、特に後述の編集手段(32)で編集された編集動画データを再生表示させるものとして示している。
【0019】
上記動画撮影カメラ18は、カラオケルーム内で利用者が歌唱するステージ全体を撮影可能に設置され、歌唱者の歌唱を録音すると共に、当該歌唱状態を録画し、歌唱映像データとして出力可能なデジタルビデオカメラである。なお、本発明では、利用者によるカメラ設定を、ステージ全体をカバーできる範囲で設定するのみでよい。
【0020】
上記カラオケ本体12は、バス20、中央制御部21、ROM22、RAM23、映像表示制御手段24、音楽演奏制御部25、音源(シンセサイザ)26、送受信部27A,27B、採点手段28、A/D変換部29、記憶部30、歌唱映像取得手段31、編集手段32及び歌唱動画再生手段33を備える。上記RAM23には予約待ち行列41、歌唱映像データ42、採点データ43及び編集動画データ44の記憶領域が形成され、記憶部30には、楽曲DB51及び映像DB52が記憶される。なお、上記各構成について、本発明の要旨と直接関連しない要素部分であっても、従前のカラオケシステムにおいても大部分が適用可能であることを示すために、構成要素の全体を説明する。
【0021】
上記中央制御部21は、このシステムを統括的に処理制御する物理的なCPUであり、ROM22に記憶されているプログラムに基づくアルゴリズム処理を行う。上記RAM23は、予約待ち行列41、利用者情報42及び利用者歌唱調整値情報43の記憶領域が形成される他に、上記種々のプログラムを展開、実行させるための作業領域としての役割をなすもので、例えば半導体メモリで構成され、仮想的にハードディスク上に構築される場合をも含む概念である。
【0022】
上記映像表示制御手段24は、演奏時に、映像DB52より抽出された背景映像及び楽曲DB51より抽出された楽曲の歌詞データを表示部13に出力するプログラム乃至電子回路である。上記音楽演奏制御部25は、例えばシーケンスプログラムを備え、楽曲コードで楽曲DB51より抽出された音符データに従って音源(シンセサイザ)26を駆動するもので、当該音源26の出力は演奏信号としてミキシングアンプ14に出力される。
【0023】
上記送受信部27Aは、遠隔入出力端末17との間で有線方式ないし無線方式(IR方式やブルートゥース(登録商標)機構のピコネット接続方式など)を利用してデータ授受を行うためのもので、そのための電子回路及びプログラムである。上記送受信部27Bは、インターネットなどの通信ネットワーク61を介してカラオケ本体12と配信サーバ62及び歌唱動画サーバ63とがデータ授受を行うための物理的な通信用回路やプラットフォーム等のソフトウエアにより構成されるものである。
【0024】
上記配信サーバ62は、楽曲データ、各利用者情報、背景映像データ、その他カラオケ装置に関するデータを格納するデータベースを備えている。また、上記歌唱動画サーバ63は、各カラオケ装置11より直接に歌唱動画データをアップロードして保存し、本人のみの閲覧、ネット上への公開(第三者への閲覧)などのサービスを提供するネットサイトである。なお、配信サーバ62と歌唱動画サーバ63とを一のサーバとしてもよい。
【0025】
上記採点手段28は、楽曲歌唱に対して楽曲の所定の歌唱区間毎に歌唱音声を分析して採点するもので、マイク15からの音声信号がミキシングアンプ14をスルーしてA/D変換部29でデジタル変換された音声信号に対して楽曲データに含まれる歌唱採点するためのリファレンスデータに基づいて当該楽曲の歌唱区間毎に採点処理を行うプログラムである。具体的には、例えば特許第4222915号公報に記載されている手法を用いることができる。
【0026】
ここでは基本となる分析や採点は、例えば10数msecから数10msecの長さの歌唱音声波形を一つの単位(以下、微小区間と呼ぶ)として行われる。一方、歌唱区間とは、例えば4小節、8小節といった長さの区間であり、任意の歌唱区間の採点処理では、当該歌唱区間に含まれる全ての微小区間の採点結果を総合した採点値を求めるものとする。より具体的には、歌唱採点値として、それらの微小区間の採点結果の加算値あるいは平均値などを求める。そして採点手段28で処理された歌唱区間毎の採点値を含む採点値は、RAM23に採点データ43として歌唱楽曲に関連付けられて記憶される。
【0027】
上記記憶部30に記憶されている楽曲DB51は、楽曲毎に、音符データ、歌詞データ、歌唱採点のためのリファレンスデータなどを格納する。演奏に関して、具体的には、楽曲ID、曲名及びアーチストID(アーチスト名)が関連付けられた楽曲テーブルを有し、楽曲毎に、楽曲IDで管理される所定データ形式のカラオケ楽曲の音符データ(例えば、MIDI(登録商標)形式の音符データ)等で構成される楽曲データ(ファイル)について楽曲コードをファイル名としてそれぞれ格納したデータベースであり、映像DB52に格納された当該楽曲毎の背景映像を表示するための歌唱区間毎にシーン映像を割り当てる割当データが関連付けられる。上記記憶部30に記憶されている映像DB52は、楽曲毎に応じた背景映像データについて楽曲コードをファイル名とし、背景映像表示のための歌唱区間に対応したシーン映像データを所定数格納したデータベースである。
【0028】
上記歌唱映像取得手段31は、動画撮影カメラ18より出力される歌唱映像データを取得し、RAM23に歌唱映像データ42として記憶するプログラムである。
【0029】
上記編集手段32は、歌唱映像取得手段31が取得してRAM23に記憶された歌唱映像データを、楽曲の歌唱区間毎に、採点手段28で採点されてRAM23に記憶された採点データ43の当該歌唱区間毎の採点値に応じて歌唱者を対応倍率で編集して歌唱動画を作成するプログラムである。具体的には、
図2(A)に示すように、顔領域認識手段71、ズーム処理手段72及びズームテーブル73を備える。
【0030】
なお、この実施例では、歌唱後に当該編集手段32による編集処理を開始するものとするが、歌唱中に歌唱区間の採点結果が出た時点でのいわゆる追っかけによる処理としてもよい。
【0031】
上記顔領域認識手段71は、歌唱映像データにおいて歌唱者の顔領域を認識するプログラムであり、従前より知られているプログラムを使用可能である。上記ズーム処理手段72は、楽曲の歌唱区間毎に、取得した歌唱区間毎の採点値に応じてズームテーブル73に基づき歌唱者の認識された顔領域を対応倍率で編集して最終的な歌唱動画を作成するプログラムであり、従前より知られているプログラムを使用可能である。
【0032】
上記ズームテーブル73は、採点値とズーム率が関連付けられたもので、一例として
図2(B)、(C)に示される。
図2(B)は、採点値Sに対して95点以上を最高倍率3倍とし、50点以上を等倍として順次所定範囲毎に倍率を定め、さらに50点未満を歌唱楽曲で表示される背景映像のうち、当該歌唱区間に対応したシーン映像(BGR)としたものである。また、
図2(C)は、歌唱区間の採点値が高いほど高倍率とするもので、例えば各歌唱区間における最高採点値を特定し、例え最高採点値が89点であっても最高倍率3倍とし、これを基準に順次差分範囲毎に倍率を定め、さらに最高採点値との差が例えば20点を超えた場合を歌唱楽曲で表示される背景映像のうち、当該歌唱区間に対応したシーン映像(BGR)としている。
【0033】
編集手段32は、上記BGRを編集の置き換え対象とするときには、記憶部30に記憶されている映像DB52より当該楽曲の背景映像データを取得し、対応歌唱区間のシーン映像を特定することとなる。ここでは、
図2(B)のズームテーブル73として説明する。
【0034】
上記顔領域認識手段71のプログラム及びズーム処理手段72のプログラムを備える編集手段32のプログラムがカラオケ歌唱映像データ編集プログラムとなる。この場合、ズームテーブル73のデータをカラオケ歌唱映像データ編集プログラム中に含ませることとしてもよく、別に記憶領域に記憶されて読み出して参照することとしてもよい。
【0035】
図1に戻り、上記歌唱動画再生手段33は、編集手段32で編集されたRAM23に記憶された編集動画データ44を、利用者の指示に従って再生するプログラムである(
図6参照)。
【0036】
ここで、
図3に、
図1の楽曲選曲の説明図を示す。
図3(A)は、遠隔入出力端末17の楽曲選曲に際しての画面を一例として示したもので、曲名などの他に歌唱撮影について通常撮影か、ズームアップ編集かを選択する項目が設けられる。
【0037】
カラオケ本体12では、送受信部27Aを介して遠隔入出力端末17からの選曲信号を受信することにより、
図3(B)に示すように、RAM23の予約待ち行列41に楽曲ID等を順番に記憶する。この場合、楽曲の選曲時に、通常撮影か、ズームアップ編集かの選択に対してフラグが付帯されるものである。
【0038】
そこで、
図4に
図1の編集手段における動画編集処理の説明図を示すと共に、
図5に、
図1の編集手段における動画編集処理のフローチャートを示す。まず、編集手段32は、利用者の歌唱後に、RAM23より歌唱区間毎の採点データ(歌唱採点値)43を取得すると共に、動画撮影カメラ18で撮影されて歌唱映像取得手段31が取得してRAM23に記憶された歌唱映像データ42を取得する(
図5のステップS1(S1))。
【0039】
取得した歌唱映像データは、
図4(A)に示すような映像データであり、これを等倍としている。そこで、顔領域認識手段71は、当該取得した歌唱映像データから歌唱者の顔領域81を認識する(S2)。そして、楽曲の歌唱区間毎に、取得した採点データの歌唱区間毎の採点値に応じて
図2(B)に示すズームテーブル73に基づき歌唱者の認識された顔領域81を対応倍率で編集して歌唱動画を作成する(S3)。
【0040】
図4(B)に示すように、取得した採点データの各歌唱区間の採点値に応じて、例えば、79点の区間1では等倍の映像シーンとし、85点の区間2ではズーム率2倍の映像シーンとし、84点の区間3ではズーム率1.5倍の映像シーンとし、94点の区間9ではズーム率2.5倍の映像シーンとし、98点の区間10ではズーム率が最高の3倍の映像シーンとする。そして、総ての歌唱区間での映像シーンを決定して全体としての編集動画データを作成するものである。
【0041】
また、50点未満の歌唱区間であれば、当該楽曲の当該歌唱区間に対応する背景映像データを映像DB52より読み出し、その歌唱区間の映像シーンとして置き換えるものである。なお、各歌唱区間の映像シーンを、いきなり対応倍率とせずに、前段階の歌唱区間の映像シーンより対応倍率までズームアップ若しくはズームダウンさせた映像シーンとしてもよいものである。
【0042】
続いて、
図6に、作成した編集動画の提供に関する表示説明図を示す。
図6において、楽曲の歌唱が終了し、編集手段32による編集動画が作成されると、
図6(A)に示すように、歌唱動画再生手段33が、歌唱者に歌唱確認で当該編集動画を再生するか否かを選択させる表示を例えば遠隔入出力装置17(カラオケ本体12に接続された表示部13でもよい)に表示させる。
【0043】
歌唱者が再生を選択すると、
図6(B)に示すように、編集手段32で編集した編集動画を再生する。再生が終了すると、
図6(C)に示すように、これを歌唱動画サーバ63に保存するか否かを選択させる表示を行う。「保存しない」が選択された場合には終了し、作成した編集動画は消去される。一方、「保存する」が選択されると、
図6(D)に示すように、保存された編集動画をネット上で公開するか否かを選択させる表示を行う。
【0044】
「公開しない」が選択されると、当該利用者のみが閲覧可能とした条件設定で当該編集動画を利用者及び歌唱楽曲(楽曲ID)に関連付けて当該カラオケ装置11より歌唱動画サーバ63に送信して保存させる。一方、「公開する」が選択されると、第三者に公開することの条件設定で当該編集動画を利用者及び歌唱楽曲(楽曲ID)に関連付けて当該カラオケ装置11より歌唱動画サーバ63に送信して保存させるものである。
【0045】
ところで、上記カラオケ歌唱映像データ編集プログラムを構成する編集手段32を歌唱動画サーバ63や配信サーバ62に備えさせることとしてもよい。この場合、カラオケ装置11よりRAM23に記憶されている歌唱映像データ及び採点データを取得して編集動画データを作成し、上記BGRを使用する場合には、カラオケ装置11の備える映像DB52と同じ映像DBを備えさせることとしてもよく、また、カラオケ装置11より歌唱映像データ及び採点データと共に当該楽曲の背景映像データを取得することとしてもよいものである。
【0046】
また、上記採点値が所定値より低かった場合に、上記BGRのシーン映像を使用するのではなく、低い点数に応じて当該歌唱映像データのシーン映像を等倍より縮小させることとしてもよい。さらに、本実施形態においては、ズームテーブル73を予め1種類のみ用意するような構成としたが、複数種類のズームテーブルを用意し、ズームテーブル選択手段を遠隔入出力装置17等に設けて歌唱者に選択させるような構成としてもよい。あるいは、遠隔入出力装置17等にズームテーブル設定入力手段を設け、歌唱者が採点値と倍率との対応付けを自由に設定でき、その設定情報を歌唱者IDと共に配信サーバに記憶していつでも呼び出せるような構成としてもよい。
【0047】
このように、ズーム処理編集を行うことから動画撮影カメラ18を歌唱ステージの全体を写せるように設定するだけでよく、カラオケ利用者の歌唱撮影のカメラ設定を簡易化することができると共に、上手く歌唱できた時のいい表情はズームアップし、ミスした時の「しまった」という表情は別映像に差し替えるなど、ズーム処理による高度に編集した歌唱動画の映像をウェブサーバ(歌唱動画サーバ63)に投稿させることができ、利用者の満足度を向上させることができるものである。