(58)【調査した分野】(Int.Cl.,DB名)
前記補正部は、マスクのフィルタ特性の逆特性を持った補正フィルタによって、歌唱者の歌唱音声信号の周波数帯域のうちマスクの着用によって減少する第1の周波数帯域と第2の周波数帯域の信号レベルを上昇させるように補正することを特徴とする請求項1に記載のカラオケ装置。
マスクを非着用中の歌唱者であると判定された場合に、歌唱者に対する報知情報及びカラオケ店舗の店員に対する報知情報の少なくとも一方を出力する出力部を有することを特徴とする請求項1から請求項3のいずれか1項に記載のカラオケ装置。
【発明を実施するための形態】
【0009】
<第1実施形態>
図1を参照して、第1実施形態のカラオケ装置10について説明する。
図1は、第1実施形態のカラオケ装置10の構成図である。
図2は、第1実施形態のカラオケ装置10の機能ブロック図である。
図3は、歌唱音声信号及び補正フィルタの周波数特性を示す図である。なお、
図2の機能ブロック図には、説明の便宜上、マスク着用による歌唱音声の補正処理に関する機能ブロックを図示している。
【0010】
カラオケ装置10は、カラオケ店舗の室内に設置されており、カラオケ本体11と、モニタ12と、スピーカ13と、マイクロフォン14と、カメラ15と、リモコン装置16と、を備えている。モニタ12は、カラオケ本体11からの映像信号等に基づいて、カラオケ演奏に合わせて背景映像と共に歌詞テロップを表示する。スピーカ13は、カラオケ本体11からの放音信号に基づいて、楽曲の伴奏音と共に歌唱者の歌唱音声を放音する。マイクロフォン14は、歌唱者の歌唱音声を歌唱音声信号に変換してカラオケ本体11に入力する。カメラ15は、室内の歌唱者を撮影して撮影映像をカラオケ本体11に入力する。
【0011】
リモコン装置16は、タッチパネルを主体に構成されている。リモコン装置16は、検索メニューや検索結果等の各種情報をタッチパネルに表示すると共に、タッチパネルによって入力を受け付けている。リモコン装置16とカラオケ本体11は無線通信を介してペアリングされており、リモコン装置16とカラオケ本体11の間で各種情報が相互に送受信される。リモコン装置16は、利用者のタッチ操作に基づいて楽曲を検索する。タッチパネルに表示された転送ボタンのタッチによって、楽曲IDが予約楽曲情報としてカラオケ本体11に送信される。
【0012】
カラオケ本体11は、リモコン装置16から受信した予約楽曲情報を記憶部21(
図2参照)の予約管理テーブルに登録する。記憶部21には、楽曲ID毎に楽曲データ等のカラオケ歌唱に関する各種データが記憶されている。カラオケ本体11は、予約管理テーブルから登録順に予約楽曲情報を読み出し、この予約楽曲情報の楽曲IDに対応する楽曲データ等を記憶部21から読み出す。楽曲データには、カラオケ楽曲の伴奏音の元になる伴奏データ、歌唱の採点基準となるリファレンスデータ、モニタ12に表示される歌詞テロップの元になる歌詞データが含まれている。
【0013】
カラオケ本体11がカラオケ演奏を開始すると、伴奏データの再生に同期して、歌詞データ及び背景映像データに基づいて歌詞テロップと背景映像がモニタ12に表示される。また、カラオケ本体11ではカラオケ演奏の伴奏音信号とマイクロフォン14から入力された歌唱音声信号がミキサによって適切な比率でミキシングされて、このミキシング信号がアンプによって増幅されてスピーカ13から放音される。このように、歌唱者がカラオケ演奏に合わせて歌唱すると、スピーカ13から伴奏音と共に歌唱音声が放音される。歌唱音声はリファレンスデータに基づいて採点される。
【0014】
図2に示すように、カラオケ本体11は、カラオケ演奏処理に加えて、マスクの着用に起因した歌唱音声の劣化を抑制可能に構成されている。カラオケ本体11には、記憶部21と、演奏部22と、判定部23と、補正部24と、音響制御部25とが設けられている。記憶部21には、予約楽曲情報が登録順に並べられた予約管理テーブル、楽曲IDに対応付けられた楽曲データ、背景映像データ等が記憶されている。演奏部22は、MIDI(Musical Instrument Digital Interface)音源等によって構成されている。演奏部22は、記憶部21から楽曲データを読み出して楽曲データに含まれる伴奏データを再生している。
【0015】
判定部23は、歌唱者の撮影映像に基づいてマスクを着用中の歌唱者か否かを判定している。判定部23には、カメラ15から歌唱者の撮影映像が入力されて、公知の顔検出処理によって歌唱者の顔画像が解析されてマスクの着用の有無が判定される。通常、顔検出処理では、顔の輪郭、目、鼻、口、眉毛等の特徴部分が検出されるが、歌唱者がマスクを着用していると鼻や口が検出されない。このため、顔の輪郭、目、眉毛が検出され、鼻、口が検出されない場合にはマスクを着用中の歌唱者として判定され、顔の全ての特徴部分が検出された場合にはマスクを非着用中の歌唱者として判定される。
【0016】
補正部24は、判定部23にマスクを着用中の歌唱者であると判定された場合に、歌唱者の歌唱音声信号の周波数特性を補正している。補正部24には、マイクロフォン14から歌唱音声信号が入力されると共に判定部23から判定結果が入力される。マスクを着用したまま歌唱すると、マスクのフィルタ作用によって歌唱音声信号の特定の周波数帯域のレベルが低下して歌唱音声が劣化したように感じられる。このため、マスクのフィルタ特性の逆特性を持った補正フィルタによって、歌唱音声信号の特定の周波数帯域のレベルが高められて歌唱音声の劣化が抑えられる。
【0017】
例えば、
図3(A)に示すマスクの非着用時の歌唱音声信号の周波数特性に対して、
図3(B)に示すマスクの着用時の歌唱音声信号の周波数特性の4kHz−8kHzまでの第1の周波数帯域と14kHz以上の第2の周波数帯域の信号レベルが低下している。マスクのフィルタ特性によって歌唱音声信号の第1、第2の周波数帯域の信号レベルが低下されるため、
図3(C)に示すような第1、第2の周波数帯域の信号レベルを上昇させる周波数特性を持った補正フィルタが用いられる。このように、マスクの着用によって減少する第1、第2の周波数帯域の信号レベルを上昇させるように歌唱音声信号が補正される。
【0018】
音響制御部25は、ミキサ、アンプ(いずれも不図示)等によって構成されている。音響制御部25には、演奏部22から伴奏音信号が入力され、補正部24から歌唱音声信号が入力される。音響制御部25は、ミキサによって伴奏音信号と歌唱音声信号を適切な比率でミキシングして、このミキシング信号をアンプによって増幅してスピーカ13に出力している。また、音響制御部25は、マスクの着用の有無に応じてアンプの増幅率を調整してもよい。マスクを着用中の歌唱者である場合には、歌唱音声が大きくなるようにアンプの増幅率が増加される。
【0019】
カラオケ本体11の判定部23及び補正部24の処理は、プロセッサを用いてソフトウェアによって実現されてもよいし、集積回路等に形成された論理回路(ハードウェア)によって実現されてもよい。プロセッサを用いる場合には、プロセッサがメモリに記憶されているプログラムを読み出して実行することで各種処理が実施される。プロセッサとしては、例えば、CPU(Central Processing Unit)が使用される。また、メモリは、用途に応じてROM(Read Only Memory)、RAM(Random Access Memory)等の一つ又は複数の記憶媒体によって構成されている。
【0020】
続いて、
図4を参照して、カラオケ装置10の処理動作について説明する。
図4は、第1実施形態のカラオケ装置10の処理を示すフローチャートである。なお、
図4に示すフローチャートは一例を示すものであり、カラオケ装置10の処理動作はこのフローチャートに限定されない。また、
図4では、
図2の符号を適宜使用して説明する。
【0021】
歌唱者Uがカラオケ店舗に入店し、室内に設置されたカラオケ装置10に対して楽曲Xを予約して楽曲Xの演奏開始を指示する。
図4に示すように、カラオケ装置10が楽曲Xの演奏開始を受け付けると(ステップS01)、カラオケ装置10に付属したカメラ15によって楽曲Xの歌唱者が撮影される(ステップS02)。次に、判定部23によって歌唱者Uの撮影映像が解析されて(ステップS03)、歌唱者Uがマスクを着用しているか否かが判定される(ステップS04)。上記したように、撮影映像から歌唱者Uの鼻や口が検出されるか否かによってマスクの有無が判定される。
【0022】
判定部23によって歌唱者Uがマスクを着用していると判定されると(ステップS04でYes)、補正部24による歌唱音声信号の周波数特性の補正が有効にされる(ステップS05)。一方で、判定部23によって歌唱者Uがマスクを着用していないと判定されると(ステップS04でNo)、補正部24による歌唱音声信号の周波数特性の補正が有効にされない。次に、演奏部22によって伴奏音信号が再生されて楽曲Xのカラオケ演奏が開始され(ステップS06でYes)、マイクロフォン14から補正部24に歌唱者Uの歌唱音声信号が入力される(ステップS07)。
【0023】
次に、歌唱音声信号の周波数特性の補正が有効にされた場合(ステップS08でYes)、補正部24によってマスクのフィルタ特性の逆特性を持った補正フィルタを用いて歌唱音声信号が補正される(ステップS09)。これにより、マスクを着用したまま歌唱しても、歌唱音声の劣化を抑えることができる。一方、歌唱音声信号の周波数特性の補正が有効にされていない場合(ステップS08でNo)、補正部24によって歌唱音声信号が補正されない。そして、カラオケ演奏が終了するまで、ステップS07からステップS09の処理が実施される(ステップS10)。
【0024】
以上、第1実施形態によれば、マスクの着用の有無に応じて歌唱者の歌唱音声信号の周波数特性が自動的に補正される。よって、マスクを着用したまま歌唱しても、歌唱音声の劣化が抑えられて、安心してカラオケを楽しむことができる。特に、歌唱者の歌唱音声信号の周波数帯域のうちマスクの着用によって減少する第1の周波数帯域と第2の周波数帯域のレベルが、マスクのフィルタ特性の逆特性を持った補正フィルタによって上昇される。このため、マスクの着用による歌唱者の歌唱音声の劣化がより適切に補正される。
【0025】
<変形例>
第1実施形態では、マスクの有無に応じて歌唱音声信号が補正される構成にしたが、以下の変形例に示すように、マスクの有無とマスクのタイプに応じて歌唱音声信号が補正されてもよい。以下、変形例の歌唱音声信号の補正処理について説明する。
図5は、マスクのタイプと補正フィルタの対応を示すテーブルである。
図6は、マスクのタイプ毎の歌唱音声信号の周波数特性を示す図である。
図7は、マスクのタイプ毎の補正フィルタの周波数特性を示す図である。
【0026】
変形例のカラオケ装置では、判定部23が、マスクを着用中の歌唱者であると判定した場合に、マスクの撮影映像に基づいて歌唱者の着用中のマスクのタイプを判定する。例えば、公知の画像解析処理によって撮影映像からマスクの輪郭が検出されて、マスクの輪郭からマスクのタイプがプリーツタイプ、平面タイプ、立体タイプの3つのタイプのいずれのタイプであるかが判定される。
【0027】
補正部24は、歌唱音声信号に対してマスクのタイプに対応した補正を実施する。例えば、
図5に示すように、補正部24はマスクM1−M3に対応した補正フィルタF1−F3を有している。なお、マスクM2のフィルタ作用の影響は、マスクM1のフィルタ作用の影響よりも小さく、マスクM3のフィルタ作用の影響は、マスクM1のフィルタ作用の影響よりも大きいものとする。これに合わせて、補正フィルタF2の補正量は、補正フィルタF1の補正量よりも小さく、補正フィルタF3の補正量は、補正フィルタF1の補正よりも大きいものとする。
【0028】
図6(A)に示すように、マスクM1の着用時の歌唱音声信号の周波数特性W1は、マスクM1の非着用時の歌唱音声信号の周波数特性W0と比べて、第1の周波数帯域(4kHz−8kHz)及び第2の周波数帯域(14kHz以上)のレベルが落ち込んでいる。
図7(A)に示すように、マスクM1の着用時には、このマスクM1のフィルタ特性の逆特性を持った補正フィルタF1を用いて歌唱音声信号が補正される。補正フィルタF1によって歌唱音声信号の周波数特性W1の第1、第2の周波数帯域のレベルが上昇されることで、マスクM1の着用に起因した歌唱音声の音質の低下が抑えられる。
【0029】
また、
図6(B)に示すように、マスクM2の着用時の歌唱音声信号の周波数特性W2は、マスクM2の非着用時の歌唱音声信号の周波数特性W0と比べて、第1、第2の周波数帯域のレベルが僅かに落ち込んでいる。
図7(B)に示すように、マスクM2の着用時には、このマスクM2のフィルタ特性の逆特性を持った補正フィルタF2を用いて歌唱音声信号が補正される。補正フィルタF2によって歌唱音声信号の周波数特性W2の第1、第2の周波数帯域のレベルが僅かに上昇されることで、マスクM2の着用に起因した歌唱音声の音質の低下が抑えられる。
【0030】
さらに、
図6(C)に示すように、マスクM3の着用時の歌唱音声信号の周波数特性W3は、マスクM3の非着用時の歌唱音声信号の周波数特性W0と比べて、第1、第2の周波数帯域のレベルが大きく落ち込んでいる。
図7(C)に示すように、マスクM3の着用時には、このマスクM3のフィルタ特性の逆特性を持った補正フィルタF3を用いて歌唱音声信号が補正される。補正フィルタF3によって歌唱音声信号の周波数特性W3の第1、第2の周波数帯域のレベルが大きく上昇されることで、マスクM3の着用に起因した歌唱音声の音質の低下が抑えられる。
【0031】
以上、変形例によれば、マスクの着用の有無に加えてマスクのタイプを判定することによって、マスクのタイプに応じて歌唱音声の劣化をより適切に補正することができる。
【0032】
<第2実施形態>
第2実施形態のカラオケ装置30について説明する。
図8は、第2実施形態のカラオケ装置30の機能ブロック図である。なお、第2実施形態のカラオケ装置30は、マスクを着用していない歌唱者にマスクの着用を促すと共に、カラオケ店舗の店員に感染症対策を促す点で第1実施形態のカラオケ装置10と相違する。したがって、第2実施形態については、第1実施形態と同様な構成については説明を省略する。
【0033】
図8に示すように、カラオケ装置30のカラオケ本体31には、記憶部41と、演奏部42と、判定部43と、補正部44と、音響制御部45と、出力部46とが設けられている。第1実施形態と同様に、判定部43にはカメラ15から撮影映像が入力され、判定部43によってマスクを着用中の歌唱者か否かが判定される。判定部43にてマスクを着用中の歌唱者であると判定された場合には、判定部43から補正部44に判定結果が出力されて、補正部44にてマイクロフォン14から入力された歌唱音声信号が補正される。そして、音響制御部25にて歌唱音声信号と伴奏音信号がミキシングされてスピーカ13に出力される。
【0034】
一方で、判定部43にてマスクを非着用中の歌唱者であると判定された場合には、判定部43から出力部46に判定結果が出力される。出力部46には、モニタやリモコン装置のディスプレイ等の歌唱者が視認可能な表示端末33と、店員の携帯端末やスタッフルームの管理端末等の店員が視認可能な店舗端末35とが通信可能に接続されている。マスクを非着用中の歌唱者であるという判定結果の場合に、出力部46から表示端末33に歌唱者に対する報知情報が出力されると共に、出力部46から店舗端末35に店員に対する報知情報が出力される。
【0035】
表示端末33のディスプレイには、歌唱者に対する報知情報として、例えば、「マスクを着用してください」、「マスクを着用して歌唱しても歌声は自動的に補正されます」といったマスクの着用を促すメッセージが表示される。店舗端末35のディスプレイには、店員に対する報知情報として、例えば、「歌唱者はマスクを着用していません」、「利用時間終了後にマイクを消毒してください」といった感染症対策を促すメッセージが表示される。このように、歌唱者と店員にメッセージを伝えることで、カラオケ店舗の感染症の予防効果を高めることができる。
【0036】
以上、第2実施形態によれば、マスクを非着用の歌唱者にマスクの着用を促し、歌唱者の退店後に店員に感染症対策を実施させることができる。
【0037】
なお、各実施形態及び変形例において、カラオケ装置10、30のカメラ15の撮影映像からマスクを着用した歌唱者か否かが判定されてもよいし、店舗に設置された防犯カメラ等の撮影映像からマスクを着用した歌唱者か否かが判定されてもよい。すなわち、カラオケ装置10、30には、必ずしもカメラ15が備えられていなくてもよい。
【0038】
また、第2実施形態において、出力部46から歌唱者に対する報知情報及びカラオケ店舗の店員に対する報知情報が出力されたが、出力部46から歌唱者に対する報知情報及びカラオケ店舗の店員に対する報知情報の少なくとも一方が出力されればよい。したがって、出力部46から表示端末33に歌唱者に対する報知情報だけが出力されてもよいし、出力部46から店舗端末35にカラオケ店舗の店員に対する報知情報だけが出力されてもよい。より具体的には、歌唱者がマスクを持っているにもかかわらずカラオケ歌唱のためにマスクを外している場合には、歌唱者に対する報知情報の出力後に歌唱者がマスクを着用することが考えられる。逆に、歌唱者がもともとマスクを持っていない場合には、歌唱者に対する報知情報の出力後も歌唱者はマスクを着用しない。よって、判定部43がマスクを着用中の歌唱者ではないと判定した場合に出力部46は歌唱者に対する報知情報を出力し、判定部43はその後も継続して判定を行う。カラオケ演奏開始後の所定のタイミング、たとえばカラオケ演奏終了後、判定部43がマスクを着用中の歌唱者ではないと判定した場合に出力部46はカラオケ店舗の店員に対する報知情報を出力し、判定部43がマスクを着用中の歌唱者であると判定した場合に出力部46はカラオケ店舗の店員に対する報知情報を出力しない。
【0039】
また、上記した各実施形態及び変形例において、カラオケ装置10、30に対してプログラムをインストールすることによって、カラオケ装置10、30にマスク着用による歌唱音声の補正する機能が追加されてもよい。このプログラムは記憶媒体に記憶されている。記憶媒体は特に限定されないが、光ディスク、光磁気ディスク、フラッシュメモリ等の非一過性の記憶媒体であってもよい。
【0040】
また、本実施形態を説明したが、他の実施形態として、上記実施形態及び変形例を全体的又は部分的に組み合わせたものでもよい。
【0041】
また、本発明の技術は上記の実施形態に限定されるものではなく、技術的思想の趣旨を逸脱しない範囲において様々に変更、置換、変形されてもよい。さらには、技術の進歩又は派生する別技術によって、技術的思想を別の仕方によって実現することができれば、その方法を用いて実施されてもよい。したがって、特許請求の範囲は、技術的思想の範囲内に含まれ得る全ての実施態様をカバーしている。