(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024115899
(43)【公開日】2024-08-27
(54)【発明の名称】配信用音源制作システム
(51)【国際特許分類】
H04R 3/00 20060101AFI20240820BHJP
G10L 21/0272 20130101ALI20240820BHJP
G10K 15/02 20060101ALI20240820BHJP
G10L 25/51 20130101ALN20240820BHJP
【FI】
H04R3/00
G10L21/0272 100Z
H04R3/00 320
G10K15/02
G10L25/51
【審査請求】未請求
【請求項の数】7
【出願形態】OL
(21)【出願番号】P 2023021795
(22)【出願日】2023-02-15
(71)【出願人】
【識別番号】508197468
【氏名又は名称】佐藤 靖
(74)【代理人】
【識別番号】100120916
【弁理士】
【氏名又は名称】佐藤 壽見子
(72)【発明者】
【氏名】佐藤 靖
【テーマコード(参考)】
5D208
5D220
【Fターム(参考)】
5D208BE00
5D220BA04
5D220EE25
5D220EE31
(57)【要約】
【課題】演奏会場で、生演奏を録音し短期間に配信用の音源を制作するシステムを提供する。
【解決手段】演奏会場において演奏される楽曲のデータを収集する第1のマイクロフォン1と、演奏会場のそれぞれ異なる方向に向けて設けられ、残響データを収集する2台以上任意台数の第2のマイクロフォン2と、レコーディング装置3を備える。レコーディング装置3は、マイクロフォン1,2が収音するデータを取得するデータ取得手段301と、楽曲のデータをパート毎に分離する音源分離手段302と、分離された各パートのデータおよび残響データを編集する編集手段303と、非可聴の低周波振動データを収集する低周波データ収集手段304と、編集後の各データを合成するとともに、合成したデータに低周波振動データを追加し、配信用音源を制作する音源制作手段305を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
演奏会場において演奏される楽曲のデータを収集する第1のマイクロフォンと、
演奏会場のそれぞれ異なる方向に向けて設けられ、残響データを収集する2台以上任意台数の第2のマイクロフォンと、
レコーディング装置を備えるシステムであって、
前記レコーディング装置は、
前記第1のマイクロフォン及び前記第2のマイクロフォンが収音するデータを取得するデータ取得手段と、
前記楽曲のデータをパート毎に分離する音源分離手段と、
前記分離された各パートのデータおよび前記残響データを編集する編集手段と、
非可聴の低周波振動データを収集する低周波データ収集手段と、
前記編集後の各データを合成するとともに、前記低周波振動データを前記合成したデータに追加し、配信用音源を制作する音源制作手段と、
を備えることを特徴とする配信用音源制作システム。
【請求項2】
前記低周波データ収集手段は、前記楽曲のデータ全体あるいは1以上任意個数のパートに含まれる非可聴域の振動データをそのまま抽出、あるいは抽出したデータの強化または弱化、あるいは新たな生成、のいずれかを実行することを特徴とする請求項1に記載の配信用音源制作システム。
【請求項3】
前記編集手段は、残響データを2以上のパートに分離してパート毎に編集するとともに、前記音源制作手段が合成する残響データは、前記パート毎に編集されたデータであることを特徴とする請求項1に記載の配信用音源制作システム。
【請求項4】
前記低周波データ収集手段は、前記残響データ全体あるいは1以上任意個数のパートに含まれる非可聴域の振動データをそのまま抽出、あるいは抽出したデータの強化または弱化、あるいは新たに生成、のいずれかを実行することを特徴とする請求項3に記載の配信用音源制作システム。
【請求項5】
観客の反応を検知する観客反応検知装置を備え、
前記反応に基づき、演奏された楽曲から配信用音源を制作するか否かを判定する請求項1に記載の配信用音源制作システム。
【請求項6】
前記観客反応検知装置は、個々の観客が所持する携帯発光器具であって所定の動きをする個数を計測し、計測個数と観客の人数との比に基づき、反応の良好度を検知することを特徴とする請求項5に記載の配信用音源制作システム。
【請求項7】
前記観客反応検知装置は、観客の拍手の音量と、前記拍手の前後の音量との変化に基づき、反応の良好度を検知することを特徴とする請求項5に記載の配信用音源制作システム。
【発明の詳細な説明】
【技術分野】
【0001】
演奏会場で、生演奏を録音し短期間に配信用の音源を制作するシステムに関する。
【背景技術】
【0002】
音楽関係者にとって、現在は受難の時代である。 ネット配信とスマートフォンの普及によってCDやDVDが売れなくなっている。ネット配信も無料の動画配信サイトなどがあることによって収入が減少してきている。そのうえテレビの歌番組がめっきり減っている。
音楽関係者はどこに活路を求めたらよいのか?
2つ考えられる。
【0003】
一つは、何らかの形で楽曲を広めることである。しかし、スタジオ録音はコストがかかる。また、コストをかけてCDなどを制作しても売れなければ大量に在庫が残って、赤字となりかねない。よほどの大ヒットでもない限り、CDなどの制作は採算がとれない。とするならば、安価に作成し、かつCDなどによらずネットによって配布していくことを考えるべきであろう。
【0004】
もう一つは、アーティストの活動の主軸をライブに据えることである。
CDもテレビももはやアーティストを支えるものではなくなっている。この状況ではライブがアーティストにとって最後の砦である。
演奏者側は、ライブでの演奏中音楽に没入している。一人一人の演奏者は、自分の音楽にかける思いを観客に届けようとしている。
一方、観客も日頃の悩みをこのときは忘れ、今この瞬間の生演奏に集中している。通夜の客のような顔をした観客は一人もいない。 誰もが演奏者の思いを真剣に受け止めようとしている。
ライブでは、演奏者と観客とが音楽を唯一無二の媒体として、時間と空間を共有するのである。
【0005】
このように、本発明者は、ライブによって音楽の持つ力を再認識してもらいたいと常々思っている。ただし、仕事や勉強、介護などに追われている人にとってライブに足を運ぶことは無理なこともある。そこで、ライブにおける臨場感あふれる演奏をネット配信を通して楽しんでもらいたいと思った。 アーティスト側も当然生活があるので有料配信にせざるをえない。 ただし、できるだけ低額としたい。そのためには低コストで配信用音源を制作して、低料金で届けたいのである。
【0006】
ところで、低コストで、短期間にレコーディングするサービスが既に存在している(例えば、非特許文献1)。
これは、演奏会場に収音機材を持ち込んで、録音からレコーディングまでを会場において実行しようとするもので、ライブレコーディングとも呼ばれている。
【先行技術文献】
【非特許文献】
【0007】
【非特許文献1】ライブレコーディング・ライブ録音|バンドレコーディング・MV制作・ライブ動画のアトヨンサウンドファクトリー (ato4sound.com) 、[令和5年1月31日検索]、インターネット<URL:https://band.ato4sound.com/liverec/>
【発明の概要】
【発明が解決しようとする課題】
【0008】
従来からライブ演奏を収録したCDやDVDは存在している。しかし、臨場感に欠け、迫力に乏しいきらいがある。 デジタル技術の進歩した昨今、音楽は単なる情報データとなっている。 デジタル技術によって加工がなされ、耳に心地よく綺麗に聞こえる。単なるBGMであればそれでもよい。しかし、ライブ演奏ならばノイズも必要なのである。 アナログの時代は、現在のデジタル技術では切り捨てたり、平準化したりする情報も残していた。このようにノイズも残すので、音声が豊かであった。やはりノイズは必要なのである。
【0009】
さて、ノ イズには2種類ある。第1は、ライブ会場で発生する反響であり、第2は、非可聴域の低周波である。 後者は、従来のCDではカットされていた13Hz以下の低周波である。非可聴なのでカットして差支えないと考えられたのかもしれない。しかし、波長の長い波は音楽にとって意味があるのではないか、と本発明者は考えている。演奏者は演奏を通じて観客に思いを届けたいと強く願っている。科学的な根拠は、と尋ねられても困るが、この時の演奏者の鼓動や呼吸が波長の長い波にのって、演奏者の思いとして観客に伝わるのかもしれない。
この点、非特許文献1に記載されているサービスでは、非可聴域の低周波データは音源に追加されていない。
ここで、野外でのヘビメタライブを想像してみてほしい。若者たちは手を突き上げながら、エネルギーを爆発させて酔いしれている。もし、爆音から流れ出る音に重低音がカットしてあったら、中音から高音だけの爆音であったら、若者たちは酔いしれることができるだろうか。はなはだ疑問である。
【0010】
以上の観点により、本発明は第1にライブ会場での演奏をその場で録音し、低コストでかつ短期間に配信用音源を制作すること、第2にデジタル技術による元音声データの過度の加工を排除することを目的とする。
【課題を解決するための手段】
【0011】
本発明の課題を解決するための配信用音源制作システムは、
演奏会場において演奏される楽曲のデータを収集する第1のマイクロフォンと、
演奏会場において、それぞれ異なる方向に向けて設けられ、残響データを収集する2以上任意台数の第2のマイクロフォンと、
会場内に設置されたレコーディング装置を備え、
前記レコーディング装置は、
前記第1のマイクロフォン及び前記第2のマイクロフォンが収音するデータを取得するデータ取得手段と、
前記楽曲のデータをパート毎に分離する音源分離手段と、
前記分離された各パートのデータおよび前記残響データを編集する編集手段と、
非可聴の低周波振動データを収集する低周波データ収集手段と、
前記編集後の各データを合成するとともに、前記低周波振動データを前記合成したデータに追加し、配信用音源を制作する配信用音源制作手段と、
を備えることを特徴とする。
【0012】
これにより、ライブ会場内で生演奏を録音し、短期間に配信用音源を制作できる。また、低周波振動データおよび残響データも制作された音源に含まれるので、デジタル処理が過度に施されたコンテンツに比べて臨場感が圧倒的に勝る。
【0013】
本発明は、さらに観客の反応を検知する観客反応検知装置を備え、
反応に基づいて、演奏された楽曲から配信用音源を制作するか否かを判定して前記レコーディング装置に送信するようにしてもよい。
【0014】
これは、一種の人気投票であり、観客から支持される楽曲を優先的にレコーディング対象とできる。
ライブでは多数の楽曲が演奏されるが、これら全部を配信対象とできないこともあるからである。
【発明の効果】
【0015】
演奏会場において生演奏を収録すると、その場でただちにレコーディング作業をするので、迅速かつ安価に配信用音源を制作できる。
デジタル技術によって過度にノイズを除去しがちであるが、適度にノイズ(低周波振動データと残響データ)を残すので、臨場感が損なわれない。
演奏中の観客の反応を客観的に把握できるので、多数の演奏の中から人気度の高い楽曲を配信対象として選択できる。
【図面の簡単な説明】
【0016】
【
図1】第1の実施形態のシステム構成を示す図である。
【
図2】第2の実施形態のシステム構成を示す図である。
【発明を実施するための形態】
【0017】
本発明の実施の形態であるシステムについて、説明する。
本システムは、ライブ会場にマイクロフォンやレコーディング装置などの収音機材を持ち込み、演奏中にリアルタイムで音声データを入力し、これから配信用音源を制作するものである。
なお、ライブには音楽だけでなくビジュアル面の楽しみもあるが、本発明では、画像(動画、静止画のいずれも含む)については考慮していない。
【0018】
(第1の実施の形態)
本発明の基本的な実施の形態(以下、本システムという)について、
図1を参照しながら説明する。
図1は、本システムの構成を示したものである。
本システムは、演奏会場において演奏される楽曲のデータを収集する第1のマイクロフォン1と、演奏会場のそれぞれ異なる方向に向けて設けられ、残響データを収集する2台以上の第2のマイクロフォン2と、レコーディング装置3と、配信サーバ4から構成される。
図1では、第1のマイクロフォン1は1台、第2のマイクロフォン2は2台が記載されているが、これ以上の台数があってもかまわない。たとえば、ステージの周り360度を客席で囲むような会場では、第2のマイクロフォン2は2台では足りないであろう。
レコーディング装置3は、生演奏データを取得して、パート毎に分離して編集した後、ノイズである残響データと非可聴の低周波振動データを追加して最終的にステレオ音源(2mix)を生成する装置である。
配信サーバ4は、レコーディング装置3が制作した配信用音源を格納し、視聴者からのアクセスに応じて視聴者の携帯端末、パソコンなどの音声再生機器5に送信する。
【0019】
レコーディング装置3は、データ取得手段301、音源分離手段302,編集手段303、低周波データ収集手段304、音源制作手段305を備える。
データ取得手段301は、第1のマイクロフォン1及び第2のマイクロフォン2によって収音されたデータを受信する。
音源分離手段302は,第1のマイクロフォン1が収音した楽曲の音声データをパート毎に分離する。
編集手段303は、音源分離手段302によって分離された各パートのデータおよび第2のマイクロフォン2によって収音された残響データを編集する。
低周波データ収集手段304は、非可聴の低周波振動データを取得したり、取得したデータに変更を施したり、なんらかのアルゴリズムによって生成したりする。
音源制作手段305は、編集手段303による編集後の各データを合成するとともに、低周波振動データを合成したデータに追加し、配信用のステレオ音源を制作する。いわゆるトラックダウン(あるいはミックスダウン)と呼ばれる処理を実行する。
レコーディング装置3は、他にマイクロフォン1,2からデータを受信したり、インターネットなどを介してデータを送受信する通信手段、レコーディングスタッフの操作に必要な操作手段、画面表示手段、作業の途中経過や最終生成物を記憶する記憶手段なども備えるが、これらの説明は省略する。
【0020】
続いて、生演奏を配信用のステレオ音源(2mix)にトラックダウンするまでの処理手順を説明する。
【0021】
舞台と客席との間の中央などの適切な場所に第1のマイクロフォン1を置き、マイクロフォン1が収音したデータをレコーディング装置3(通常観客席の最後尾に設置される)に送信する。
ここで、必要な音質が確保できれば、音源の送信手段はなんでもよい。たとえば、LINE(登録商標)は音声データを送ることができるので、これを利用してもよい。
なお、第1のマイクロフォン1で収集した音をレコーディングのスタッフがヘッドホン(図示せず)でモニターしてもよい。 スタッフはモニターした音および音の記憶も参考に、以下のレコーディングの作業を行う。
【0022】
左右などの異なる方向に向けた第2のマイクロフォン2でステージ袖や、観客席の右側と左側等の音をとる。観客の歓声や、建物の構造や素材によって起こる雑音も録音できる。これは、演奏以外の音、つまり壁・床・天井などに反射された音、反射が反射された音、さらにこれらの反射等によって生じた音であり、反響とか残響と呼ばれる。 この第2のマイクロフォン2として必要ならば低周波用のマイクロフォンを使用、あるいは通常のマイクロフォンと併用してもよい。この残響もリアルタイムにレコーディング装置3に送信する。
【0023】
レコーディング装置3のデータ取得手段301が取得した音楽データは、音源分離手段302によってパート毎に分離される。
ボーカル、ベース、ドラムなどを別々に録音するスタジオ録音とは異なり、本システムでは、この分離の過程が不可欠である。
【0024】
レコーディング装置3の編集手段303は、分離されたパート毎のデータをそれぞれ編集する。 本発明は、必要以上に元の音楽データを加工しないことを重視している。が、そのままでは音量のバランスなどの点から聴きづらいことがある。そこで、必要な範囲内でボーカルや楽器のそれぞれについて音量や音質の調整などの編集作業をする。本システムでは編集が不可欠なので元の楽曲データをパート毎に分離する過程が必要だったのである。
本システムの特徴の一つは、音源データを過度に編集せずノイズを残すことにある。とはいえ、ボーカルがよく聞こえなかったり、ドラムの音が他を圧倒していたりすると、元の楽曲データをそのまま配信することはできない。ある程度の編集が必要なことは言うまでもない。要はバランスの問題である。
【0025】
あわせて低周波データ収集手段304は、非可聴の低周波データも準備する。この低周波データは、分離前の音楽データ全体に含まれる低周波の部分でも、分離した1個以上任意個数のパートに含まれる低周波の部分でもよい。また、元のデータからカットした低周波部分そのものでもよく、カットした部分を強調したり弱めたりと編集してもよい。あるいは、元の音楽データとは独立にソフトウェアによって自動生成されたデータなどでもよい。
【0026】
データ取得手段301が取得した残響データも必要ならば編集手段303が編集する。 その際、元の残響データから低周波部分をカットしてもよい。カットした部分を適宜編集してもよい。元の残響データを2以上のパート(例えば、観客の拍手・歓声と、施設等への音の反射など)に分離してパート毎に編集してもよい。
残響データの編集が必要となるのは、残響が強すぎて聴きづらいときなどである。 デジタル技術によって残響を除去することは可能である。しかし、それはそれで味気ないものとなり、臨場感が薄れる。ただし、残響をカットすればコンテンツの純度が上がるので、いずれが良いとは言い切れない。ここでもバランスが問題なのである。本システムでは、上手にバランスをとってミキシングすることで、観客としてその場にいた記憶に近い音を作ることを目的のひとつとする。
【0027】
音源制作手段305は、分離され、且つ音量や周波数帯域の調整などの編集がされたパート毎のデータを、別途編集した残響データと、収集し適宜編集した低周波データと合成し、ステレオ音源(2mix)データを制作する。制作されたステレオ音源データは、配信用サーバ4に配信コンテンツとして格納される。
このトラックダウンの作業は、ミキサーと呼ばれる機材を使ってもよく、専用のソフトウェアによっても可能である。
【0028】
以上の過程は、非特許文献1に開示されているレコーディングの場合とほとんど変わらない。ただし、既存の技術(例えば、『ソニーグループポータル | テクノロジー | Stories | AIによる音源分離 (sony.com)、インターネット<URL:https://www.sony.com/ja/SonyInfo/technology/stories/AI_Sound_Separation/>』を参照)によって音源をパート毎に分離している点、および低周波振動データも追加している点で相違する。 特に後者は、元の音が豊かになるという効果がある。13Hz以下をカットしている通常のCDなどに比べると、低音を強化しているので、より臨場感が増す。
なお、高い音質で配信するために、圧縮率を高くすることを要する。通常のCDなどではカットしている低周波振動データも含まれているので、音源データを格納しているファイルサイズが大きいからである。
【0029】
本システムでは、生演奏データをそのライブ会場において編集するので、短時間のうちに配信用音源が制作できる。早ければ、当日中あるいは翌日に配信することも可能である。 当日の観客にとって余韻が冷めやらぬうちに当日の演奏を再度聴くことができるのである。
また、元の楽曲データの分離、編集、合成などの作業のうち、人手によらずソフトウェアによって行われる部分も少なくないので、制作コストも節減できる。
つまり本システムは、ライブの生演奏を迅速かつ低コストで提供できる。
【0030】
本発明の活用例として、ライブを新曲発表の場とし、直ちに音楽コンテンツを作成して配信することが挙げられる。
ライブのチケット発売時に、新曲を発表する旨、これのライブレコーディングを実施する旨をアナウンスしてもよい。新曲の初回の演奏に立ち会える、しかも自分の声援も録音されるかもしれないという期待でライブに足を運ぶ人も少なからずいると考えられる。
【0031】
さらに、次のような試みがあってもよい。すなわち演奏後に、今の演奏を配信してもよいか否かを尋ねるのである。 観客の反応が芳しくなければ、もう一度同じ曲を演奏する。 あるいは興に乗った観客たちが、「もう一回」と言ったときも同じ曲を演奏して、これを配信用音源の対象としてもよい。レコーディング対象となる演奏を観客が選択するのである。
【0032】
〔第2の実施形態〕
ライブで演奏された楽曲を配信する既存のシステムがある。通常、演奏された楽曲の一部のみが配信される。観客の方は、どれが配信されるか知らされておらず、何がダウンロードされるのか楽しみでもある。 どの楽曲を配信対象とするかは、アーティストなどのライブの主催者側が一方的に決めているのが通常である。
この実施形態では、観客の反応をもとに観客の受けがよかったと判断される演奏を順位づけして、上位から所定数の演奏を配信対象とするものである。配信用音源の制作方法は第1の実施形態とほとんど変わらない。ただし、楽曲ごとに、 音量や音質が異なると聴きづらいので、これを調整する作業は必要である。この作業は各楽曲のトラックダウン終了後のステレオ音源を対象に行われる。
【0033】
この実施形態は、
図2に示すように、
図1のシステム構成に観客反応検知装置6を付加した点に特徴がある。
図2の観客反応検知装置6は、観客席を撮影する1台以上任意台数のカメラ601と、判定処理を行うコンピュータ602と、判定結果をレコーディング装置3などに送信する通信手段603とを備える。コンピュータ602は、ライブ会場に設置されていてもよいが、外部にあってインターネットなどの通信回線を介してライブ会場の機器と接続するようにしてもよい。
【0034】
個々の観客には、ペンライトやサイリウムなどの携帯発光器具7を持ってもらう。
観客は感動したり興にのったりするとペンライト等をふるものである。そこで、カメラ601(1台または複数台)が観客席を撮影する。そしてコンピュータ602が撮影された映像の中から観客の手によって振られて動くペンライト等をカウントする。静止している光は、ライブ会場内の非常灯などの場合があるので、所定の距離を移動したり戻ったりする光のみを対象とする。動く光の個数と観客数との割合を当該楽曲の観客人気度とするのである。人気度の高い順に並べ、配信を予定している楽曲数だけ配信対象とする。 カメラの映像から動く光を検出することは既存の技術で可能なので、詳細は省略する。
【0035】
観客の反応を検知する方法は、上記以外にも複数が考えられる。
一つの方法は、観客の拍手をもとにするものである。第2のマイクロフォン2などから取得する音声で実現可能である。ここで、絶対音量だけでなく、拍手前後の音量の変化も判定材料とする。この音量が大きい順に楽曲を並べ、配信を予定している楽曲数だけ配信対象とするのである。これも既存の技術を利用すれば実現容易である。
【0036】
上記の第1、第2の実施形態は例示にすぎない。
本発明は、ライブ会場で演奏された楽曲を収音し、これからただちに配信用の音源を制作する点、配信用音源にはバランスよくノイズが含まれている点、および観客の反応を考慮する点が重要なのである。
【0037】
制作された音源の販売手法も様々考えられる。
楽器店やコンビニエンスストアなどで、コンテンツ販売サーバにアクセス可能なQRコード(登録商標)付きカードを購入し、このコンテンツ配信サーバからダウンロードしてもよい。アーティストの開設しているサイトから購入してもよい。あるいは、ネットショップを運営するアプリ内で購入してもよい。
【産業上の利用可能性】
【0038】
ライブで演奏された楽曲が、当日もしくは翌日という短期間で配信され、しかも臨場感にあふれているので、ライブの熱狂が冷めやらぬ観客からの需要が期待できる。当日の観客でなくても、迫力ある音源を耳にした視聴者を実際のライブに誘引する効果もある。
【符号の説明】
【0039】
1:第1のマイクロフォン
2:第2のマイクロフォン
3:レコーディング装置
4:配信サーバ
5:(ユーザの)音声再生機器
6:観客反応検知装置
7:(ユーザの)携帯発光器具