(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-03-18
(45)【発行日】2024-03-27
(54)【発明の名称】オーディオインターフェース装置、及び、録音システム
(51)【国際特許分類】
G10H 1/00 20060101AFI20240319BHJP
【FI】
G10H1/00 101C
(21)【出願番号】P 2020045884
(22)【出願日】2020-03-17
【審査請求日】2023-01-25
(73)【特許権者】
【識別番号】000004075
【氏名又は名称】ヤマハ株式会社
(74)【代理人】
【識別番号】100125689
【氏名又は名称】大林 章
(74)【代理人】
【識別番号】100128598
【氏名又は名称】高田 聖一
(74)【代理人】
【識別番号】100121108
【氏名又は名称】高橋 太朗
(72)【発明者】
【氏名】山本 孝郎
(72)【発明者】
【氏名】阿部 達利
【審査官】中村 天真
(56)【参考文献】
【文献】特開2014-153515(JP,A)
【文献】特開2019-168646(JP,A)
【文献】特開2007-127773(JP,A)
【文献】特開2000-172279(JP,A)
【文献】特開平09-097220(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F 3/16
G10H 1/00-1/46
H04R 3/00-3/14
(57)【特許請求の範囲】
【請求項1】
楽曲を構成する複数のパートのうち第1パートの音を表す第1音データの時系列を記憶する録音装置と通信可能なオーディオインターフェース装置であって、
第1記憶部と、
第2記憶部と、
前記録音装置から受信した前記第1音データの時系列を前記第1記憶部に格納する第1入力処理部と、
前記第1記憶部に格納された前記第1音データに応じた音信号を再生装置に出力する第1出力処理部と、
前記複数のパートのうち入力機器に対する入力に応じた第2パートの音を表す第2音データを取得する第2入力処理部と、
前記第1音データと前記第2音データとを同期させるための同期データを生成する生成部と、
前記第2音データの時系列を前記第2記憶部に格納し、当該第2記憶部に記憶された前記第2音データの時系列を出力する第2出力処理部と、
前記第2出力処理部が出力した前記第2音データの時系列と、前記生成部が生成した前記同期データとを前記録音装置に送信する第1送信部と、
を具備
し、
前記同期データは、前記第1音データの時系列の先頭に対応する第1時点から、前記第2音データの時系列の先頭に対応する時点までの経過時間を示すデータを含む、
オーディオインターフェース装置。
【請求項2】
楽曲を構成する複数のパートのうち第1パートの音を表す第1音データの時系列を記憶する録音装置と通信可能なオーディオインターフェース装置であって、
第1記憶部と、
第2記憶部と、
前記録音装置から受信した前記第1音データの時系列を前記第1記憶部に格納する第1入力処理部と、
前記第1記憶部に格納された前記第1音データに応じた音信号を再生装置に出力する第1出力処理部と、
前記複数のパートのうち入力機器に対する入力に応じた第2パートの音を表す第2音データを取得する第2入力処理部と、
前記第1音データと前記第2音データとを同期させるための同期データを生成する生成部と、
前記第2音データの時系列を前記第2記憶部に格納し、当該第2記憶部に記憶された前記第2音データの時系列を出力する第2出力処理部と、
前記第2出力処理部が出力した前記第2音データの時系列と、前記生成部が生成した前記同期データとを前記録音装置に送信する第1送信部と、
を具備
し、
前記第1送信部は、
前記第1音データの時系列の先頭に対応する第1時点から前記第2音データの時系列における複数の第2音データの各々に対応する時点までの経過時間を示すデータを含む前記同期データを、前記第2音データの時系列に対応付けて、前記録音装置に送信する、
オーディオインターフェース装置。
【請求項3】
前記第1送信部は、無線通信により前記第2音データの時系列と前記同期データとを前記録音装置に送信する、
請求項1または2に記載のオーディオインターフェース装置。
【請求項4】
前記第2出力処理部は、
前記第1音データと前記第2音データとを混合する混合部を含む、
請求項1から3のいずれか1項に記載のオーディオインターフェース装置。
【請求項5】
前記第1出力処理部は、前記第1記憶部に記憶された前記第1音データの時系列に応じた音信号を、前記再生装置に複数回にわたり出力する、
請求項1から4のいずれか1項に記載のオーディオインターフェース装置。
【請求項6】
前記複数回の各々について、
前記第2出力処理部は、前記入力機器に対する入力に応じた前記第2パートの音を表す第2音データの時系列を前記第2記憶部に格納する、
請求項5に記載のオーディオインターフェース装置。
【請求項7】
請求項1から6のいずれか1項に記載のオーディオインターフェース装置と、前記録音装置とを含む録音システムであって、
前記録音装置は、
前記第1音データの時系列のうち出力を開始する開始時点を示す表示部と、
前記第1音データの時系列のうち、前記開始時点から所定の期間までに対応する第1音データの時系列を、前記オーディオインターフェース装置に送信する第2送信部と、を具備する、
録音システム。
【請求項8】
前記複数のパートには、前記第1パートが複数含まれており、
前記第1音データは、複数の第1パートのそれぞれの第1パートの音を表す音データをミックスダウンしたデータである、
請求項7に記載の録音システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、オーディオインターフェース装置、及び、録音システムに関する。
【背景技術】
【0002】
従来から、PC(Personal Computer)等の録音装置に録音させるためのオーディオインターフェース装置が普及している。例えば、特許文献1には、録音装置から取得した伴奏データが表す音を放音し、収音した音を表す収音データを録音装置に送信するオーディオインターフェース装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1の技術では、オーディオインターフェース装置と録音装置との通信が不安定である場合、伴奏データに対して収音データが遅延する。遅延時間を考慮して伴奏データと収音データとを同期させようとしても、遅延時間は通信状況によって変動するため、遅延時間を決定できない。以上の事情を考慮して、本開示は、オーディオインターフェース装置と録音装置との通信が不安定であっても、楽曲を構成する複数のパートのうち第1パートの音を表す第1音データと、第2パートの音を表す第2音データとを精度良く同期させることを目的とする。
【課題を解決するための手段】
【0005】
以上の課題を解決するために、本開示のひとつの態様に係るオーディオインターフェース装置は、楽曲を構成する複数のパートのうち第1パートの音を表す第1音データの時系列を記憶する録音装置と通信可能なオーディオインターフェース装置であって、第1記憶部と、第2記憶部と、前記録音装置から受信した前記第1音データの時系列を前記第1記憶部に格納する第1入力処理部と、前記第1記憶部に格納された前記第1音データに応じた音信号を再生装置に出力する第1出力処理部と、前記複数のパートのうち入力機器に対する入力に応じた第2パートの音を表す第2音データを取得する第2入力処理部と、前記第1音データと前記第2音データとを同期させるための同期データを生成する生成部と、前記第2音データの時系列を前記第2記憶部に格納し、当該第2記憶部に記憶された前記第2音データの時系列を出力する第2出力処理部と、前記第2出力処理部が出力した前記第2音データの時系列と、前記生成部が生成した前記同期データとを前記録音装置に送信する第1送信部と、を具備する。
【図面の簡単な説明】
【0006】
【
図1】本開示の第1実施形態にかかる録音システムRの外観を例示する図。
【
図2】オーディオインターフェース装置1を示すブロック図。
【
図5】第1の態様における同期データSDが生成される例を示す図。
【
図6】第2の態様における同期データSDが生成される例を示す図。
【
図7】オーディオインターフェース装置1の動作を示すフローチャートを示す図。
【
図8】伴奏入力処理を示すフローチャートを示す図。
【
図9】再生録音処理を示すフローチャートを示す図。
【
図10】録音開始処理を示すフローチャートを示す図。
【
図11】収音送信処理を示すフローチャートを示す図。
【
図12】第2実施形態における録音システムRaの機能を示す図。
【
図13】第2実施形態における同期データSDが生成される例を示す図。
【
図14】第2実施形態における録音開始処理を示すフローチャートを示す図。
【
図15】第3実施形態における録音システムRbの機能を示す図。
【
図16】テイク録音モードにおける同期データSDが生成される例を示す図。
【
図17】第3実施形態における録音開始処理を示すフローチャートを示す図。
【発明を実施するための形態】
【0007】
<第1実施形態>
図1は、本開示の第1実施形態にかかる録音システムRの外観を例示する図である。録音システムRは、楽曲を構成する伴奏に併せて、ユーザが楽曲を演奏した音を録音するシステムである。録音システムRは、オーディオインターフェース装置1と、録音装置8とを具備する。録音装置8は、例えば、PCである。オーディオインターフェース装置1及び録音装置8は、無線通信WCによって互いに接続される。無線通信WCは、例えば、無線LAN(Local Area Network)又はbluetooth(登録商標)等の無線通信である。
【0008】
オーディオインターフェース装置1は、録音装置8に録音させるための装置である。録音装置8は、楽曲を構成する複数のパートのうち伴奏パートの音(以下「伴奏音」という)を表す伴奏データDACの時系列を記憶する。なお、伴奏パートは、「第1パート」の一例である。伴奏データDACは、「第1音データ」の一例である。伴奏データDACは、所定のサンプリング周波数(例えば44.1kHz)でサンプリングされた伴奏音のサンプルである。
【0009】
楽曲を構成する複数のパートには、伴奏パートが1つ含まれてよいし、複数含まれてもよい。複数のパートに伴奏パートが複数含まれている場合、伴奏データDACは、複数の伴奏パートのそれぞれの伴奏パートの伴奏音を表す伴奏データをミックスダウンしたデータである。録音装置8は、複数の伴奏パートのそれぞれの伴奏パートの伴奏音を表す伴奏データをミックスダウンし、得られた伴奏データDACを記憶してもよいし、録音システムRの外部装置がミックスダウンして得られた伴奏データDACを、当該外部装置から取得してもよい。以下の記載では、説明を簡略化するため、楽曲を構成する複数のパートには、伴奏パートが1つ含まれるとして説明する。
【0010】
オーディオインターフェース装置1のユーザと、録音装置8のユーザとは、同一でもよいし互いに異なってもよい。説明の簡略化のため、オーディオインターフェース装置1のユーザと録音装置8のユーザとは同一であるとして説明する。
【0011】
オーディオインターフェース装置1は、第1操作装置11と、出力ポート151と、入力ポート181とを具備する。出力ポート151は、伴奏データD
ACに応じた、アナログの放音信号S
OUTを出力する端子である。放音信号S
OUTは、「第1音データに応じた音信号」の一例である。
図1の例示では、出力ポート151には、ヘッドホンHPが接続されている。ヘッドホンHPは、「再生装置」の一例である。ただし、出力ポート151には、ヘッドホンHP以外が接続されてもよく、例えば、スピーカが接続されてもよい。
【0012】
入力ポート181は、アナログの収音信号S
INをオーディオインターフェース装置1に入力するための端子である。
図1の例示では、入力ポート181には、マイクロホンMCが接続される。マイクロホンMCは、「入力機器」の一例である。ただし、入力ポート181には、マイクロホンMC以外が接続されてもよく、例えば、電気弦楽器等の電気楽器、又は、電子オルガン等の電子楽器等が接続されてもよい。
【0013】
ヘッドホンHPとマイクロホンMCとの使用態様について説明する。ユーザは、ヘッドホンHPを装着して、放音信号SOUTが表す音を聞きながら、楽曲を構成する複数のパートのうちの演奏パートを演奏する。演奏パートは、「第2パート」の一例である。放音信号SOUTは、伴奏データDACに基づいて、デジタル信号である放音データDOUTをアナログに変換した信号である。収音信号SINが入力されていない場合、放音信号SOUTは、伴奏データDACをアナログに変換した信号である。マイクロホンMCは、ユーザが演奏した演奏音を収音し、収音した演奏音を表す収音信号SINを出力する。オーディオインターフェース装置1は、マイクロホンMCから収音信号SINを取得して、収音信号SINをデジタルに変換した収音データDINを録音装置8に送信する。収音データDINは、「第2音データ」の一例である。
【0014】
収音データDINは、収音信号SINを所定のサンプリング周波数(例えば44.1kHz)でサンプリングした各サンプルを表すデータである。収音データDINのサンプリング周波数と伴奏データDACのサンプリング周波数とは、互いに等しくてもよいし、互いに異なってもよい。以下では、説明を簡略化するため、収音データDINのサンプリング周波数と伴奏データDACのサンプリング周波数とが互いに等しいとして説明する。さらに、収音データDINのサンプリング周波数を「サンプリング周波数SPIN」と称し、伴奏データDACのサンプリング周波数を「サンプリング周波数SPAC」と記載する場合がある。
【0015】
さらに、オーディオインターフェース装置1は、収音データDINと伴奏データDACとを混合し、得られた放音データDOUTをアナログに変換した音信号を、放音信号SOUTとして出力する。以上の構成により、ユーザは、自身の演奏が伴奏と合っているかを確認しながら演奏することができる。
【0016】
第1操作装置11は、ユーザからの指示を受け付ける入力機器である。第1操作装置11は、ユーザが操作する複数の操作子を含む。複数の操作子は、再生ボタン111と、録音ボタン113とである。再生ボタン111は、ユーザによる押下ごとに放音信号SOUTの再生と停止とを切り替える。録音ボタン113は、ユーザによる押下ごとに、ユーザが楽曲を演奏した演奏音の収音と停止とを切り返す。録音ボタン113によって収音が停止した場合、オーディオインターフェース装置1は、放音信号SOUTが表す音の再生を停止してもよいし、停止せずに再生し続けてもよい。以下の説明では、オーディオインターフェース装置1は、録音ボタン113によって収音を停止した場合に、放音信号SOUTが表す音の再生を停止することとする。
【0017】
録音装置8は、第2操作装置81と、表示装置88とを具備する。表示装置88は、「表示部」の一例である。第2操作装置81は、ユーザからの指示を受け付ける入力機器である。第2操作装置81は、ユーザが操作する複数の操作子として、キーボードとマウスとを含む。表示装置88は、例えば液晶表示パネルで構成され、ユーザの指示に従って画像を表示する。
図1の例示では、表示装置88は、DAW(Digital Audio Workstation)ソフトウェアが生成する画像を表示している。DAWソフトウェアは、デジタルの音信号に対して、録音処理、編集処理、ミキシング処理、及び、編曲処理を実行するソフトウェアである。DAWソフトウェアが生成する画面には、伴奏データD
ACの時系列のうち出力を開始する開始時点を示すポイントロケータPLが含まれる。
図1の例示では、ポイントロケータPLは、開示時点が「0:05:00」であることを示している。
【0018】
図2は、オーディオインターフェース装置1を示すブロック図である。オーディオインターフェース装置1は、
図1に例示した第1操作装置11に加えて、第1制御装置13と、第1通信装置14と、出力ポート151を含む出力ポート処理部15と、第1記憶装置16と、入力ポート181を含む入力ポート処理部18とを具備する。出力ポート処理部15は、「第1出力処理部」の一例である。入力ポート処理部18は、「第2入力処理部」の一例である。
【0019】
第1操作装置11、第1制御装置13、第1通信装置14、出力ポート処理部15、第1記憶装置16、及び、入力ポート処理部18は、バス19によって互いにアクセスされる。
【0020】
第1制御装置13は、CPU(Central Processing Unit)又はDSP(Digital Signal Processor)等で構成されており、第1記憶装置16に記憶されているプログラムを実行する。第1制御装置13は、オーディオインターフェース装置1の各要素を制御する。
【0021】
第1通信装置14は、無線通信WCを介して録音装置8と通信する機器である。通信の安定化を図るため、第1通信装置14は、録音装置8にデータを送信した後、データを受信したことを確認した信号を録音装置8から受信した場合に、次のデータを送信する、いわゆるハンドシェイク通信を用いて録音装置8と通信する。さらに、第1通信装置14は、受信したデータにエラーがある場合、データの再送要求を録音装置8に送信する。ハンドシェイク通信及び再送要求が可能な通信プロトコルとしては、例えば、TCP(Transmission Control Protocol)がある。
【0022】
出力ポート処理部15は、放音信号SOUTをヘッドホンHPに出力する処理を実行する。
【0023】
第1記憶装置16は、第1制御装置13が実行するプログラムと第1制御装置13が使用する各種データとを記憶する。例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、又は複数種の記録媒体の組合せで第1記憶装置16は構成される。さらに、第1記憶装置16は、伴奏記憶部161と収音記憶部162とを有する。伴奏記憶部161は、「第1記憶部」の一例である。収音記憶部162は、「第2記憶部」の一例である。
【0024】
伴奏記憶部161は、伴奏データDACの時系列を記憶する記憶領域である。例えば、伴奏記憶部161は、概念的に環状に記憶領域が配置されている、いわゆるリングバッファとして第1制御装置13にアクセスされる。第1記憶装置16には、伴奏記憶部161とは別に、伴奏記憶部161から伴奏データDACを読み出す際に用いる読み出しポインタと、伴奏記憶部161に伴奏データDACを書き込む際に用いる書き込みポインタとを記憶する。読み出しポインタ及び書き込みポインタの初期値は、例えば、伴奏記憶部161の先頭のアドレスを示す。第1制御装置13は、書き込みポインタが示すアドレスに伴奏データDACを書き込み、書き込みポインタを、次の伴奏データDACを書き込むアドレスに更新する。書き込みポインタが伴奏記憶部161の末尾のアドレスに到達した場合には、第1制御装置13は、書き込みポインタを、伴奏記憶部161の先頭のアドレスに更新する。一方、伴奏記憶部161から伴奏データDACを読み出す場合には、第1制御装置13は、読み出しポインタが示すアドレスに書き込まれた伴奏データDACを読み出し、読み出しポインタを、次の伴奏データDACのアドレスに更新する。読み出しポインタが伴奏記憶部161の末尾のアドレスに到達した場合には、第1制御装置13は、読み出しポインタを、伴奏記憶部161の先頭のアドレスに更新する。
【0025】
収音記憶部162は、収音データDINの時系列を記憶する記憶領域である。収音記憶部162も、伴奏記憶部161と同様に、リングバッファとして第1制御装置13にアクセスされる。
【0026】
入力ポート処理部18は、マイクロホンMCから取得した収音信号SINを変換することにより、収音データDINを取得する。
【0027】
図3は、録音装置8を示すブロック図である。録音装置8は、
図1に例示した第2操作装置81及び表示装置88に加えて、第2制御装置83と、第2通信装置84と、第2記憶装置86とを具備する。
【0028】
第2操作装置81、第2制御装置83、第2通信装置84、第2記憶装置86、及び、表示装置88は、バス89によって互いにアクセスされる。
【0029】
第2制御装置83は、CPU又はDSP等で構成されており、第2記憶装置86に記憶されているプログラムを実行する。第2制御装置83は、録音装置8の各要素を制御する。
【0030】
第2通信装置84は、無線通信WCを介してオーディオインターフェース装置1と通信する機器である。
【0031】
第2記憶装置86は、第2制御装置83が実行するプログラムと第2制御装置83が使用する各種データとを記憶する。例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、又は複数種の記録媒体の組合せで第2記憶装置86は構成される。また、第2記憶装置86は、伴奏データDACの時系列として、伴奏データDAC[1]~伴奏データDAC[n]を記憶する。nは1以上の整数である。以下の記載において、伴奏データDACの時系列における1つの伴奏データDACを区別する場合には、伴奏データDAC[x]と記載する。xは1以上の整数である。
【0032】
図4は、録音システムRの機能を示す図である。まず、録音装置8の機能について説明する。第2制御装置83は、プログラムを読み取り、プログラムを実行することによって、第2送信部831として機能する。
【0033】
第2送信部831は、伴奏データDACの時系列のうち、ポイントロケータPLが示す時点から所定の期間までに対応する伴奏データDACの時系列を、第2通信装置84によってオーディオインターフェース装置1に送信する。所定の期間は、どのような期間でもよい。例えば、所定の期間は、伴奏記憶部161が格納可能な伴奏データDACの数に応じた期間の時間長に所定の係数αを乗じた期間であり、下記(1)式で算出できる。
【0034】
所定の期間=α×伴奏記憶部161が格納可能な伴奏データDACの数/サンプリング周波数SPAC (1)
【0035】
所定の係数αは、0より大きく1以下の実数である。例えば、伴奏記憶部161が格納可能な伴奏データDACの数が88200であり、伴奏データDACのサンプリング周波数SPACが44.1kHzであれば、所定の期間は、2×α秒間である。
【0036】
第2送信部831は、ユーザによる第2操作装置81の操作によって、ポイントロケータPLが示す開始時点が変更された場合、変更後の開始時点から所定の期間までに対応する伴奏データDACの時系列を、オーディオインターフェース装置1に送信する。
【0037】
次に、オーディオインターフェース装置1の機能について説明する。第1制御装置13は、プログラムを読み取り、プログラムを実行することによって、伴奏入力処理部131と、生成部133と、収音出力処理部135と、第1送信部137として機能する。伴奏入力処理部131は、「第1入力処理部」の一例である。収音出力処理部135は、「第2出力処理部」の一例である。
【0038】
伴奏入力処理部131は、録音装置8から受信した伴奏データDACの時系列を、伴奏記憶部161に格納する処理を実行する。
【0039】
出力ポート処理部15は、伴奏記憶部161に格納された伴奏データD
ACに応じた放音信号S
OUTをヘッドホンHPに出力する処理を実行する。説明の簡略化のため、以下の説明では、伴奏データD
ACに応じた放音信号S
OUTをヘッドホンHPに出力する処理を、「伴奏再生処理」と記載する。より詳細に出力ポート処理部15の機能について説明する。出力ポート処理部15は、
図1に例示した出力ポート151に加えて、ミキサ153と、DA変換装置155とを具備する。ミキサ153は、「混合部」の一例である。
【0040】
ミキサ153は、伴奏データDACと収音データDINとを混合し、放音データDOUTを出力する。
【0041】
DA変換装置155は、デジタル信号である放音データDOUTを受け付けて、アナログ信号である放音信号SOUTに変換し、放音信号SOUTを出力ポート151に出力する。
【0042】
入力ポート処理部18は、マイクロホンMCに対する入力に応じた収音データD
INを取得する。より詳細に入力ポート処理部18の機能について説明する。入力ポート処理部18は、
図1に例示した入力ポート181に加えて、AD変換装置183を具備する。
【0043】
AD変換装置183は、アナログ信号である収音信号SINを入力ポート181から受け付けて、デジタル信号である収音データDINに変換する。
【0044】
生成部133は、伴奏データDACと収音データDINとを同期させるための同期データSDを生成する。同期データSDは、伴奏データDACと収音データDINとの時間的な対応を表すデータである。同期データSDは、例えば、以下に示す2つの態様がある。生成部133は、再生ボタン111及び録音ボタン113の操作態様に応じて、第1の態様における同期データSD又は第2の態様における同期データSDを生成する。
【0045】
第1の態様における同期データSDは、伴奏データDACの時系列の先頭に対応する時点と、収音データDINの時系列の先頭に対応する時点とが同時であることを示すデータを含む。伴奏データDACの時系列の先頭に対応する時点は、「第1時点」の一例である。
【0046】
説明の簡略化のため、伴奏データDACの時系列の先頭に対応する時点を、「伴奏開始時点」と称し、収音データDINの時系列の先頭に対応する時点を、「収音開始時点」と称する。同様に、伴奏データDACの時系列の末尾に対応する時点を、「伴奏終了時点」と称し、収音データDINの時系列の末尾に対応する時点を、「収音終了時点」と称する。
【0047】
伴奏開始時点と収音開始時点とが同時であることを示すデータは、例えば、伴奏開始時点と収音開始時点とが同時であることを示す識別子である。
【0048】
図5は、第1の態様における同期データSDが生成される例を示す図である。生成部133は、再生ボタン111が押下されずに録音ボタン113が押下された場合に、第1の態様における同期データSDを生成する。
図5の例示では、時刻Tsにおいてユーザによって録音ボタン113が押下され、時刻Tsより後の時刻Teにおいてユーザによって録音ボタン113が再び押下されている。従って、伴奏開始時点及び収音開始時点が時刻Tsであり、伴奏終了時点及び収音終了時点が時刻Teである。なお、
図5の例示では、時刻Tsにおいて、伴奏記憶部161に伴奏データD
AC[1]~伴奏データD
AC[n]が記憶されていることを前提とする。
【0049】
時刻Tsに対応する伴奏データDACは、伴奏データDAC[1]である。伴奏開始時点と収音開始時点とが同時であるため、時刻Tsに対応する収音データDINは、収音データDIN[1]である。サンプリング周波数SPINとサンプリング周波数SPACとが互いに等しいため、時刻Teに対応する伴奏データDACは、伴奏データDAC[n]であり、時刻Teに対応する収音データDINは、収音データDIN[n]である。
【0050】
第2の態様における同期データSDは、伴奏開始時点から収音開始時点までの経過時間を示すデータを含む。伴奏開始時点から収音開始時点までの経過時間を示すデータは、例えば、経過時間を示す値である。
【0051】
図6は、第2の態様における同期データSDが生成される例を示す図である。生成部133は、再生ボタン111が押下された後に録音ボタン113が押下された場合に、第2の態様における同期データSDを生成する。
図6の例示では、時刻Tsにおいてユーザによって再生ボタン111が押下され、時刻Tsより後の時刻T1においてユーザによって録音ボタン113が押下され、時刻T1より後の時刻Teにおいてユーザによって録音ボタン113が再び押下されている。従って、伴奏開始時点が時刻Tsであり、収音開始時点が時刻T1であり、伴奏終了時点及び収音終了時点が時刻Teである。なお、
図6の例示では、時刻Tsにおいて、伴奏記憶部161に伴奏データD
AC[1]~伴奏データD
AC[n]が十分に記憶されていることを前提とする。
【0052】
図6の例示では、同期データSDは、伴奏開始時点である時刻Tsから収音開始時点である時刻T1までの経過時間T1-Tsを示す値を含む。
【0053】
時刻Tsに対応する伴奏データDACは、伴奏データDAC[1]である。時刻Tsでは収音が為されていないため、時刻Tsに対応する収音データDINは存在しない。時刻T1に対応する伴奏データDACは、伴奏データDAC[i]である。iは、下記(2)式を満たす値である。
【0054】
i=(T1-Ts)×サンプリング周波数SPAC+1 (2)
【0055】
時刻T1に対応する収音データDINは、収音データDIN[1]である。時刻Teに対応する伴奏データDACは、伴奏データDAC[n]である。時刻Teに対応する収音データDINは、収音データDIN[n-i+1]である。
【0056】
第2の態様における同期データSDには、伴奏開始時点から収音開始時点までの経過時間を示す値の他に、例えば、同期データSDが第2の態様であることを示す識別子が含まれてもよい。録音装置8は、同期データSDを受信した場合に、受信した同期データSDに、伴奏開始時点と収音開始時点とが同時であることを示す識別子が含まれる場合、受信した同期データSDが第1の態様における同期データSDであると判定する。一方、受信した同期データSDに、第2の態様であることを示す識別子が含まれる場合、録音装置8は、受信した同期データSDが第2の態様における同期データSDであると判定する。
【0057】
説明を
図4に戻す。収音出力処理部135は、収音データD
INの時系列を収音記憶部162に格納し、収音記憶部162に記憶された収音データD
INの時系列を出力する。より詳細には、収音出力処理部135は、AD変換装置183から出力された収音データD
INを、収音記憶部162の書き込みポインタが示すアドレスに格納し、読み出しポインタが示すアドレスに格納された収音データD
INを読み出して、第1送信部137に出力する。
【0058】
第1送信部137は、収音出力処理部135が出力した収音データDINの時系列と、生成部133が生成した同期データSDとを、第1通信装置14によって録音装置8に送信する。収音データDINの時系列と同期データSDとを送信する契機については、例えば、以下に示す2つがある。第1の契機として、第1送信部137は、録音完了後に収音データDINの時系列と同期データSDとを送信する。第2の契機として、第1送信部137は、録音中に、収音データDINの時系列と同期データSDとを送信する。以下の説明では、第1送信部137は、第2の契機によって収音データDINの時系列と同期データSDとを送信する例を用いて説明する。
【0059】
図7~
図11を用いて、オーディオインターフェース装置1の動作を説明する。
【0060】
図7は、オーディオインターフェース装置1の動作を示すフローチャートである。オーディオインターフェース装置1は、ステップS1に示す伴奏入力処理と、ステップS3に示す再生録音処理と、ステップS5に示す収音送信処理と、を並列に実行する。伴奏入力処理は、録音装置8から伴奏データD
ACを受け付けて、伴奏データD
ACを伴奏記憶部161へ格納する処理である。再生録音処理は、ユーザによって再生ボタン111又は録音ボタン113が押下された場合に実行する処理である。収音送信処理は、収音データD
INを収音記憶部162から読み出して、収音データD
INを録音装置8に送信する処理である。
【0061】
図8は、伴奏入力処理を示すフローチャートである。ステップS11において、第1制御装置13は、動作終了指示を受け付けたか否かを判定する。例えば、
図1に不図示であるオーディオインターフェース装置1の電源ボタンがオフに設定された場合、第1制御装置13は、動作終了指示を受け付けたと判定する。動作終了指示を受け付けた場合(S11:Yes)、第1制御装置13は、
図8に示す一連の処理を終了する。
【0062】
動作終了指示を受け付けていない場合(S11:No)、伴奏入力処理部131は、ステップS13において、録音装置8から、伴奏データDACを受け付けたか否かを判定する。伴奏データDACを受け付けた場合(S13:Yes)、伴奏入力処理部131は、ステップS15において、受け付けた伴奏データDACを伴奏記憶部161に格納する。ステップS15の処理終了後、又は、伴奏データDACを受け付けていない場合(S13:No)、伴奏入力処理部131は、ステップS17において、伴奏記憶部161の使用容量が所定量以下か否かを判定する。
【0063】
伴奏記憶部161の使用容量は、伴奏記憶部161の書き込みポインタが伴奏記憶部161の読み出しポインタ以上である場合下記(3)式により求められ、伴奏記憶部161の書き込みポインタが伴奏記憶部161の読み出しポインタより小さい場合下記(4)式により求められる。ステップS17の所定量は、0より大きく伴奏記憶部161の記憶容量未満の値である。
【0064】
伴奏記憶部161の使用容量=伴奏記憶部161の書き込みポインタ-伴奏記憶部161の読み出しポインタ (3)
【0065】
伴奏記憶部161の使用容量=伴奏記憶部161の記憶容量+伴奏記憶部161の書き込みポインタ-伴奏記憶部161の読み出しポインタ (4)
【0066】
伴奏記憶部161の使用容量が所定量以下である場合(S17:Yes)、すなわち、未再生の伴奏データDACが少ない場合には、伴奏入力処理部131は、ステップS19において、伴奏データDACを送信するパケットサイズを所定値より大きく設定するように録音装置8に指示する。ステップS19の所定値は、録音装置8の設計者等によって予め決められた値である。一般的に、パケットサイズが大きいほど、転送速度を向上できる。従って、未再生の伴奏データDACが少ない場合には、パケットサイズを大きくすることにより、未再生の伴奏データDACが無く、伴奏を再生できない状況を抑制することができる。
【0067】
一方、伴奏記憶部161の使用容量が所定量より大きい場合(S17:No)、伴奏入力処理部131は、ステップS21において、伴奏データDACを送信するパケットサイズを所定値に設定するように録音装置8に指示する。ステップS21の所定値は、ステップS19の所定値と同一である。なお、パケットサイズを所定値から変更していない場合には、伴奏入力処理部131は、ステップS21の処理を実行しなくてもよい。
【0068】
ステップS19の処理、又は、ステップS21の処理終了後、第1制御装置13は、ステップS11の処理を再び実行する。
【0069】
図9は、再生録音処理を示すフローチャートである。ステップS31において、第1制御装置13は、ユーザの指示を一定期間待ち受ける。ユーザの指示としては、前述の動作終了指示、再生開始指示、録音開始指示、及び、録音終了指示がある。再生開始指示は、例えば、放音信号S
OUTの再生を停止している場合にユーザによって再生ボタン111が押下されることである。録音開始指示は、例えば、演奏音の収音を停止している場合にユーザによって録音ボタン113が押下されることである。録音終了指示は、例えば、演奏音を収音している場合にユーザによって録音ボタン113が押下されることである。なお、ユーザの操作としては、さらに、再生終了指示がある。再生終了指示は、例えば、放音信号S
OUTを再生している場合にユーザによって再生ボタン111が押下されることである。再生終了指示を受け付けた場合に、録音開始指示をまだ受け付けてない場合には、生成部133は同期データSDを生成しない。録音開始指示を受け付けて録音終了指示を受け付けていない状態、すなわち、録音中である場合には、再生終了指示を受け付けないこととする。従って、説明の簡略化のため、再生終了指示を受け付ける場合については図示及び説明を省略する。
【0070】
ユーザの指示を受け付けた場合、又は、ユーザの指示を受け付けない状態で一定期間が経過した場合、ステップS33において、第1制御装置13は、動作終了指示又は録音終了指示を受け付けたか否かを判定する。動作終了指示及び録音終了指示を受け付けていない場合(S33:No)、第1制御装置13は、ステップS35において、録音開始指示を受け付けたか否かを判定する。録音開始指示を受け付けていない場合(S35:No)、第1制御装置13は、ステップS37において、再生開始指示を受け付けたか否かを判定する。再生開始指示を受け付けた場合(S37:Yes)、第1制御装置13は、ステップS39において、現在時刻を伴奏開始時点として第1記憶装置16に記憶する。次に、出力ポート処理部15は、ステップS41において、第1制御装置13からの指示に従って、伴奏再生処理を開始する。
【0071】
ステップS41の処理終了後、又は、再生開始指示を受け付けていない場合(S37:No)、第1制御装置13は、ステップS31の処理を再び実行する。
【0072】
録音開始指示を受け付けた場合(S35:Yes)、第1制御装置13は、ステップS43において、録音開始処理を実行する。
【0073】
図10は、録音開始処理を示すフローチャートである。第1制御装置13は、ステップS61において、出力ポート処理部15が伴奏再生処理を実行中か否かを判定する。出力ポート処理部15が伴奏再生処理を実行していない場合(S61:No)、生成部133は、ステップS63において、伴奏開始時点と収音開始時点とが同時であることを示すデータを含む同期データSD、すなわち、第1の態様における同期データSDを生成する。次に、出力ポート処理部15は、ステップS65において、伴奏再生処理を開始する。
【0074】
一方、出力ポート処理部15が伴奏再生処理を実行中である場合(S61:Yes)、第1制御装置13は、ステップS67において、伴奏開始時点から現在時刻までの経過時間を示すデータを含む同期データSD、すなわち、第2の態様における同期データSDを生成する。伴奏開始時点は、ステップS39の処理によって第1記憶装置16に記憶された値である。
【0075】
ステップS65の処理終了後、又は、ステップS67の処理終了後、収音出力処理部135は、ステップS69において、収音データD
INを収音記憶部162へ格納する処理を開始する。ステップS69の処理終了後、第1制御装置13は、
図10に示す一連の処理を終了して録音開始処理の呼び出し元に戻り、ステップS31の処理を再び実行する。
【0076】
説明を
図9に戻す。動作終了指示又は録音終了指示を受け付けた場合(S33:Yes)、収音出力処理部135は、ステップS51において、収音データD
INを収音記憶部162へ格納する処理を終了する。次に、出力ポート処理部15は、ステップS53において、伴奏再生処理を終了する。そして、第1制御装置13は、ステップS55において、動作終了指示を受け付けたか否かを判定する。録音終了指示を受け付けた場合(S55:No)、第1制御装置13は、ステップS31の処理を再び実行する。動作終了指示を受け付けた場合(S55:Yes)、第1制御装置13は、
図9に示す一連の処理を終了する。
【0077】
図11は、収音送信処理を示すフローチャートである。ステップS71において、第1制御装置13は、動作終了指示を受け付けたか否かを判定する。動作終了指示を受け付けた場合(S71:Yes)、第1制御装置13は、
図11に示す一連の処理を終了する。動作終了指示を受け付けていない場合(S71:No)、第1送信部137は、ステップS73において、収音記憶部162の空き容量が所定量以下か否かを判定する。
【0078】
収音記憶部162の空き容量は、収音記憶部162の読み出しポインタが収音記憶部162の書き込みポインタ以上である場合下記(5)式によって求められ、収音記憶部162の読み出しポインタが収音記憶部162の書き込みポインタより小さい場合下記(6)式によって求められる。ステップS73の所定量は、0より大きく収音記憶部162の記憶容量未満の値である。
【0079】
収音記憶部162の空き容量=収音記憶部162の読み出しポインタ-収音記憶部162の書き込みポインタ (5)
【0080】
収音記憶部162の空き容量=収音記憶部162の記憶容量+収音記憶部162の読み出しポインタ-収音記憶部162の書き込みポインタ (6)
【0081】
収音記憶部162の空き容量が所定量以下である場合(S73:Yes)、第1送信部137は、ステップS75において、収音データDINを送信するパケットサイズを所定値より大きく設定する。前述した通り、パケットサイズが大きいほど、転送速度を向上できる。従って、収音記憶部162の空き容量が少ない場合には、収音データDINを送信するパケットサイズを大きくすることにより、収音記憶部162の空き容量が増加して、収音データDINが収音記憶部162に格納できないという状況を引き起こしにくくできる。ステップS75の所定値は、オーディオインターフェース装置1の設計者等によって予め決められた値である。
【0082】
一方、収音記憶部162の空き容量が所定量より大きい場合(S73:No)、第1送信部137は、ステップS77において、収音データDINを送信するパケットサイズを所定値に設定する。ステップS77の所定値は、ステップS75の所定値と同一である。なお、パケットサイズを所定値から変更していない場合には、第1送信部137は、ステップS77の処理を実行しなくてもよい。
【0083】
ステップS75の処理終了後、又は、ステップS77の処理終了後、第1送信部137は、ステップS79において、未送信の同期データSDがあるか否かを判定する。未送信の同期データSDがある場合(S79:Yes)、第1送信部137は、ステップS81において、第1通信装置14によって、同期データSDを録音装置8に送信する。
【0084】
ステップS81の処理終了後、又は、未送信の同期データSDがない場合(S79:No)、第1送信部137は、ステップS83において、未送信の収音データDINがあるか否かを判定する。未送信の収音データDINがある場合(S83:Yes)、収音出力処理部135が収音記憶部162から収音データDINを出力し、第1送信部137は、ステップS85において、出力した収音データDINを録音装置8に送信する。ステップS85の処理終了後、又は、未送信の収音データDINがない場合(S83:No)、第1制御装置13は、ステップS71の処理を再び実行する。
【0085】
説明を
図7に戻す。伴奏入力処理、再生録音処理、及び、収音送信処理を終了した場合、オーディオインターフェース装置1は、
図7に示す一連の処理を終了する。
【0086】
以上に説明した通り、第1実施形態では、オーディオインターフェース装置1と録音装置8との通信が不安定であり、収音データDINを一時的に録音装置8に送信できない場合であっても、収音データDINが収音記憶部162に一時的に記憶されるため、収音データDINが表す演奏音の途切れを抑制できる。さらに、通信が不安定であり、伴奏データDACに対して収音データDINの送信が遅延したとしても、同期データSDを用いることにより、録音装置8は、伴奏データDACと収音データDINとを精度良く同期できる。
【0087】
第1実施形態では、第1送信部137は、無線通信により、収音データDINの時系列と同期データSDとを録音装置8に送信する。無線通信は、有線通信と比較して不安定である。例えば、無線通信では、ノイズによる干渉によって収音データDINの送信が遅延する場合がある。しかしながら、第1実施形態では、収音データDINの送信が遅延した場合であっても、収音データDINが収音記憶部162に一時的に記憶されるため、収音データDINが表す演奏音の途切れを抑制できる。
【0088】
第1実施形態では、生成部133は、第1の態様における同期データSDを生成できる。録音装置8は、第1の態様における同期データSDを参照して、伴奏データD
ACの時系列の先頭と、収音データD
INの時系列の先頭とを合わせることにより、伴奏データD
ACと収音データD
INとを精度良く同期することができる。
図5の例示では、録音装置8は、伴奏データD
AC[j]が表す伴奏音が放音された時点で、収音データD
IN[j]が表す演奏音が収音されたとみなすことにより、伴奏データD
ACと収音データD
INとを精度良く同期することができる。jは、1からnまでの整数である。
【0089】
第1実施形態では、生成部133は、第2の態様における同期データSDを生成できる。録音装置8は、第2の態様における同期データSDを参照して、伴奏データD
ACの時系列の先頭に対応する伴奏開始時点から同期データSDが示す時間経過した伴奏データD
ACと、収音データD
INの時系列の先頭とを合わせることにより、伴奏データD
ACと収音データD
INとを精度良く同期することができる。
図6の例示では、録音装置8は、伴奏データD
AC[j]が表す伴奏音が放音された時点で、収音データD
IN[j-i+1]が表す演奏音が収音されたとみなすことにより、伴奏データD
ACと収音データD
INとを精度良く同期することができる。
【0090】
第1実施形態では、出力ポート処理部15は、ミキサ153を含む。ユーザは、ミキサ153によって伴奏データDACと収音データDINとを混合した放音データDOUTをアナログ変換した放音信号SOUTが表す音を聞くことができる。放音信号SOUTが表す音を聞くことにより、ユーザは、自身の演奏が伴奏と合っているかを確認しながら演奏することができる。
【0091】
第1実施形態では、第2送信部831は、伴奏データDACの時系列のうち、ポイントロケータPLが示す時点から所定の期間までに対応する伴奏データDACの時系列を、第2通信装置84によってオーディオインターフェース装置1に送信する。従って、録音装置8が、ユーザによって再生ボタン111が押下されるまでに、伴奏データDACの時系列を送信することにより、オーディオインターフェース装置1は、再生ボタン111を押下した直後に伴奏を再生できる。
【0092】
第1実施形態では、楽曲を構成する複数のパートに伴奏パートが複数含まれる場合、伴奏データDACは、複数の伴奏パートのそれぞれの伴奏パートの伴奏音を表す伴奏データをミックスダウンしたデータである。従って、伴奏パートが複数ある場合においても、第1実施形態を適用できる。
【0093】
<第2実施形態>
第1実施形態における同期データSDは、第1の態様及び第2の態様ともに、伴奏開始時点と収音開始時点との関係を示している。一方、第2実施形態における同期データSDは、伴奏開始時点と、収音データDINの時系列における複数の収音データDINの各々に対応する時点との関係を示す点で第1実施形態と相違する。なお、以下に例示する第2実施形態において作用又は機能が第1実施形態と同等である要素については、以上の説明で参照の符号を流用して各々の詳細な説明を適宜に省略する。
【0094】
図12は、第2実施形態における録音システムRaの機能を示す図である。第2実施形態におけるオーディオインターフェース装置1aに含まれる第1制御装置13aは、プログラムを読み取り、プログラムを実行することによって、伴奏入力処理部131と、生成部133aと、収音出力処理部135と、第1送信部137aとして機能する。
【0095】
生成部133aは、第2実施形態における同期データSDを生成する。第2実施形態における同期データSDは、伴奏開始時点から収音データDINの時系列における複数の収音データDINの各々に対応する時点までの経過時間を示すデータを含む。生成部133aは、複数の収音データDINに含まれる全ての収音データDINに対応する同期データSDを生成してもよいし、複数の収音データDINのうち一部の収音データDINに対応する同期データSDを生成してもよい。以下の説明では、生成部133aは、複数の収音データDINの一部に対応する同期データSDを生成することとして説明する。より詳細には、第2実施形態における生成部133aは、収音開始時点に収音された収音データDINと、収音開始時点から所定期間が経過した時点に収音された収音データDINとのそれぞれに対応する同期データSDを生成する。
【0096】
図13は、第2実施形態における同期データSDが生成される例を示す図である。
図13では、再生ボタン111が押下された後に録音ボタン113が押下された場合を例示する。
図13の例示では、時刻Tsにおいてユーザによって再生ボタン111が押下され、時刻Tsより後の時刻T1においてユーザによって録音ボタン113が押下され、時刻T1より後の時刻Teにおいてユーザによって録音ボタン113が再び押下されている。時刻T1から所定期間Taが経過した時点が時刻T2であり、時刻T2から所定期間Taが経過した時点が時刻T3である。時刻T3は時刻Teより前の時刻である。
【0097】
図13の例示では、生成部133aは、収音開始時点である時刻T1に同期データSD[1]を生成し、時刻T2に同期データSD[2]を生成し、時刻T3に同期データSD[3]を生成する。同期データSD[1]は、収音データD
IN[1]に対応するデータである。同期データSD[1]は、時刻Tsから時刻T1までの経過時間T1-Tsを示す値を含む。
【0098】
同期データSD[2]は、収音データDIN[Ta×SPIN+1]に対応するデータである。時刻T2に再生された伴奏音を表す伴奏データDACは、伴奏データDAC[Ta×SPAC+i]である。同期データSD[2]は、時刻Tsから時刻T2までの経過時間T2-Tsを示す値を含む。
【0099】
同期データSD[3]は、収音データDIN[2Ta×SPIN+1]に対応するデータである。時刻T3に再生された伴奏音を表す伴奏データDACは、伴奏データDAC[2Ta×SPAC+i]である。同期データSD[3]は、時刻Tsから時刻T3までの経過時間T3-Tsを示す値を含む。
【0100】
説明を
図12に戻す。第1送信部137aは、生成部133が生成した同期データSDを、収音データD
INの時系列に対応付けて、録音装置8に送信する。同期データSDを、収音データD
INの時系列に対応付ける態様としては、例えば、以下に示す2つがある。
【0101】
第1の態様における対応付けとして、同期データSDに、同期データSDに対応する収音データDINのサンプル数を示す値を含めることである。例えば、生成部133aは、同期データSD[1]に、収音データDIN[1]のサンプル数を示す値である「1」を追加する。
【0102】
第2の態様における対応付けとして、第1送信部137aは、同期データSDと、同期データSDに対応する収音データDINとを連続して送信する。第1送信部137aは、同期データSDを送信した後に収音データDINを送信してもよいし、収音データDINを送信した後に同期データSDを送信してもよい。例えば、第1送信部137aは、同期データSD[1]を送信した後に収音データDIN[1]を送信してもよいし、収音データDINを送信した後に同期データSD[1]を送信してもよい。
【0103】
以下では、第1の態様における対応付けによって、同期データSDを収音データDINの時系列に対応づけることとして、説明する。
【0104】
図14は、第2実施形態における録音開始処理を示すフローチャートである。
図14に示すステップS91、S93、S95、S97、S99、S101、S103、S111、S113、S115の処理は、それぞれ、
図9のステップS31、S33、S35、S37、S39、S41、S43、S51、S53、S55の処理と同一であるため、説明を省略する。
【0105】
再生開始指示を受け付けていない場合(S97:No)、第1制御装置13aは、ステップS121において、同期データSDを前回生成してから所定期間が経過したか否かを判定する。同期データSDを前回生成してから所定期間が経過した場合(S121:Yes)、生成部133aは、ステップS123において、伴奏開始時点から現在時刻までの経過時間を示すデータを含む同期データSDを生成する。次に、生成部133aは、ステップS125において、同期データSDを、収音データDINの時系列に対応付ける。より詳細には、生成部133aは、同期データSDに、現在収音された演奏音を表す収音データDINのサンプル数を示す値を含める。現在収音された演奏音を表す収音データDINは、言い換えれば、収音記憶部162の書き込みポインタが示す収音データDINである。
【0106】
ステップS115の処理終了後、又は、同期データSDを前回生成してから所定期間が経過していない場合(S121:No)、第1制御装置13aは、ステップS91の処理を再び実行する。
【0107】
以上に説明した通り、第2実施形態では、第1送信部137aは、伴奏開始時点から複数の収音データDINの各々に対応する時点までの経過時間を示すデータを含む同期データSDを、収音データDINの時系列に対応付けて、録音装置8に送信する。同期データSDを用いることにより、録音装置8は、伴奏データDACと収音データDINとを精度良く同期できる。
【0108】
さらに、録音装置8は、複数の同期データSDを用いることにより、収音データDINの時系列から、ユーザから指定された任意の時刻に対応する収音データDINを容易に検出できる。例えば、時刻tに対応する収音データDINを検出する場合、第1実施形態では、録音装置8は、収音データDIN[1]から、t×サンプリング周波数SPIN番目に位置する収音データDINを探索する必要がある。一方、第2実施形態では、複数の同期データSDのうち、経過時間が時刻tに最も近い同期データSDに対応する収音データDINから、目的の収音データDINを探索すればよく、第1実施形態と比較して、任意の時刻に対応する収音データDINを容易に検出できる。
【0109】
<第3実施形態>
第3実施形態では、伴奏データDACの時系列に応じた放音信号SOUTを複数回にわたり出力し、複数回の各々について、演奏パートの演奏音を表す収音データDINの時系列を収音記憶部162に格納する点で、第1実施形態と相違する。以下の説明では、複数回の各々について、演奏パートの演奏音を表す収音データDINの時系列を収音記憶部162に格納する動作を、「テイク録音モード」と称する。収音データDINの時系列を収音記憶部162に格納する動作の回数を、「総テイク回数」と称する。なお、以下に例示する第3実施形態において作用又は機能が第2実施形態と同等である要素については、以上の説明で参照の符号を流用して各々の詳細な説明を適宜に省略する。
【0110】
図15は、第3実施形態における録音システムRbの機能を示す図である。第3実施形態におけるオーディオインターフェース装置1bは、第1操作装置11と、第1制御装置13bと、第1通信装置14と、出力ポート処理部15bと、第1記憶装置16と、入力ポート処理部18とを具備する。第1制御装置13bは、プログラムを読み取り、プログラムを実行することによって、伴奏入力処理部131と、生成部133bと、収音出力処理部135bと、第1送信部137aとして機能する。
【0111】
出力ポート処理部15bは、伴奏記憶部161に記憶された伴奏データDACの時系列に応じた放音信号SOUTを、ヘッドホンHPに総テイク回数にわたり出力する。ユーザによる具体的な総テイク回数の指定方法として、例えば、以下に示す2つの態様がある。第1の態様において、録音装置8が、ユーザが指示した総テイク回数を、オーディオインターフェース装置1bに送信する。出力ポート処理部15bは、録音装置8から受信した総テイク回数分、放音信号SOUTを出力する。第2の態様において、録音装置8が、ユーザがテイク録音モードを指定したことをオーディオインターフェース装置1bに送信する。オーディオインターフェース装置1bは、録音終了指示を受け付けない限り、伴奏記憶部161に記憶された伴奏データDACの時系列に応じた放音信号SOUTの出力を繰り返す。以降では、ユーザは、第2の態様によって総テイク回数を指定することとして説明する。
【0112】
収音出力処理部135bは、総テイク回数の各々の回数目について、マイクロホンMCに対する入力に応じた演奏パートの演奏音を表す収音データDINの時系列を収音記憶部162に格納する。
【0113】
生成部133bは、生成部133aと同様に、伴奏開始時点から収音データDINの時系列における総テイク回数の収音データDINの各々に対応する時点までの経過時間を示すデータを含む同期データSDを生成する。より詳細には、第3実施形態では、生成部133bは、総テイク回数の各々の回数目について、伴奏データDACの時系列の先頭に応じた放音信号SOUTを出力した時点で収音された収音データDINに対応する同期データSDを生成する。
【0114】
図16は、テイク録音モードにおける同期データSDが生成される例を示す図である。
図16では、伴奏データD
ACの時系列として、伴奏データD
AC[1]~伴奏データD
AC[n]を3回にわたり出力した場合を例示する。
図16では、再生ボタン111が押下された後に録音ボタン113が押下された場合を例示する。以下の説明では、伴奏データD
AC[1]~伴奏データD
AC[n]のk回目の出力を、単に、「テイクk」と称する。kは1以上の整数である。
図16の例示では、伴奏データD
AC[1]~伴奏データD
AC[n]の再生にかかる期間は、期間Tbである。
【0115】
図16の例示では、時刻Tsにおいてユーザによって再生ボタン111が押下され、時刻Tsより後の時刻T1においてユーザによって録音ボタン113が押下されている。さらに、録音システムRbは、時刻T1より後であり、時刻Tsから期間Tbが経過した時刻Te1においてテイク1を終了し、テイク2を開始している。さらに、録音システムRは、時刻Te1から期間Tbが経過した時刻Te2においてテイク2を終了し、テイク3を開始している。さらに、録音システムRは、時刻Te2から期間Tbが経過した時刻Te3においてテイク3を終了している。
【0116】
生成部133bは、時刻T1に同期データSD[1]を生成し、時刻Te1に同期データSD[2]を生成し、時刻Te2に同期データSD[3]を生成する。同期データSD[1]は、収音データDIN[1]に対応するデータである。
【0117】
同期データSD[2]は、収音データDIN[n-i+2]に対応するデータである。時刻Te1に再生された伴奏音を表す伴奏データDACは、伴奏データDAC[1]である。同期データSD[2]には、時刻Tsから時刻Te1までの経過時間Te1-Tsを示す値を含む。
【0118】
同期データSD[3]は、収音データDIN[2n-i+2]に対応するデータである。時刻Te2に再生された伴奏音を表す伴奏データDACは、伴奏データDAC[1]である。同期データSD[3]には、時刻Tsから時刻Te2までの経過時間Te2-Tsを示す値を含む。
【0119】
録音装置8は、同期データSDを受け付けた場合、下記(7)式によってテイク数を算出し、下記(8)式によって、同期データSDに対応付けられた収音データDINと同期させる伴奏データDAC[y]を算出する。
【0120】
テイク数=quotient(同期データSDに含まれる経過時間,Tb)+1 (7)
【0121】
y=mod(同期データSDに含まれる経過時間,tb)×SPAC+1 (8)
【0122】
ただし、quotient(a1,a2)は、a1をa2で除した場合の商の整数部を示す。mod(a1,a2)は、a1をa2で除した場合の余りを示す。
【0123】
なお、第3実施形態において、同期データSDには、テイク数が含まれていてもよい。録音装置8は、同期データSDに含まれるテイク数から、当該同期データSDに対応付けられた収音データDINのテイク数を特定してもよい。
【0124】
図17は、第3実施形態における録音開始処理を示すフローチャートである。
図17に示すステップS133、S135、S137、S139、S141、S143、S151、S153、S155、S165、S167の処理は、それぞれ、
図14のステップS93、S95、S97、S99、S101、S103、S111、S113、S115、S123、S125の処理と同一であるため、説明を省略する。
【0125】
ステップS131において、第1制御装置13bは、ユーザの指示又は1テイクの再生終了イベントを一定時間受け付ける。1テイクの再生終了イベントとは、伴奏データDAC[1]~伴奏データDAC[n]の出力が1回終了した場合に発生するイベントである。
【0126】
ユーザの指示を受け付けた場合、1テイクの再生終了イベントを受け付けた場合、又は、ユーザの指示及び1テイクの再生終了イベントを受け付けない状態で一定時間が経過した場合、第1制御装置13bは、ステップS133の処理を実行する。
【0127】
再生開始指示を受け付けていない場合(S137:No)、第1制御装置13bは、ステップS161において、1テイクの再生終了イベントを受け付けたか否かを判定する。1テイクの再生終了イベントを受け付けた場合(S161:Yes)、出力ポート処理部15bは、ステップS163において、第1制御装置13bからの指示に従って、伴奏再生処理を再度開始する。次に、生成部133bは、ステップS165の処理を実行する。
【0128】
1テイクの再生終了イベントを受け付けていない場合(S161:No)、第1制御装置13bは、ステップS131の処理を再び実行する。
【0129】
以上に説明した通り、第3実施形態では、出力ポート処理部15bは、伴奏記憶部161に記憶された伴奏データDACの時系列に応じた放音信号SOUTを、ヘッドホンHPに総テイク回数にわたり出力する。従って、録音装置8は、テイク録音モードにおいて、伴奏データDACの時系列を1度のみ送信すればよく、録音装置8とオーディオインターフェース装置1との通信量を削減できる。
【0130】
第3実施形態では、収音出力処理部135bは、総テイク回数の各々の回数目について、マイクロホンMCに対する入力に応じた演奏パートの演奏音を表す収音データDINの時系列を収音記憶部162に格納する。従って、ユーザは、テイク録音モードにおいて、総テイク回数の各々の音を聞き比べできる。
【0131】
<変形例>
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された2個以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
【0132】
(1)第1実施形態において、生成部133は、再生ボタン111及び録音ボタン113の操作態様に応じて、第1の態様における同期データSD又は第2の態様における同期データSDを生成するが、これに限らない。例えば、生成部133は、再生ボタン111が押下されずに録音ボタン113が押下された場合、伴奏開始時点から収音開始時点までの経過時間を示すデータと、伴奏開始時点から収音開始時点までの経過時間を示す値、すなわち「0」とを含む同期データSDを生成してもよい。
【0133】
(2)上述の各形態において、第1通信装置14と第2通信装置84とは無線通信により接続されていたが、有線接続によって接続されてもよい。例えば、録音装置8がサーバであって、第1通信装置14と第2通信装置84とは、LAN(Local Area Network)又はインターネット等のネットワークにより接続されてもよい。有線接続であっても、第1通信装置14と第2通信装置84との経路上の中継装置にアクセスが集中した場合には、通信が不安定になることがある。従って、有線接続であっても、録音装置8が伴奏データDACと収音データDINとを精度良く同期できるという前述の効果は有効である。
【0134】
(3)上述の各形態において、伴奏記憶部161と収音記憶部162とは、同一の記憶装置である第1記憶装置16内の記憶領域であったが、互いに異なる記憶装置内の記憶領域でもよい。
【0135】
(4)上述の各形態において、入力ポート181に接続される入力機器の一例が、マイクロホンMCといった、アナログの音信号を出力する機器であったが、デジタルの音信号を出力するMIDI(Musical Instrument Digital Interface)楽器でもよい。入力ポート181にMIDI楽器を接続する場合、入力ポート処理部18は、AD変換装置183を有さない。又は、入力ポート処理部18は、アナログの音信号を出力する入力機器を接続する入力ポートと、デジタルの音信号を出力する入力機器を接続する入力ポートとを有してもよい。
【0136】
(5)上述の各形態において、出力ポート処理部15は、ミキサ153を含んでいたが、ミキサ153を含まなくてもよい。また、ミキサ153は、収音信号SINと、伴奏データDACをアナログ変換した信号とを混合してもよい。
【0137】
(6)上述の各形態において、第1パートの一例が、伴奏パートであり、第2パートの一例が、演奏パートであったが、第1パートが演奏パートであり、第2パートが伴奏パートでもよい。換言すれば、録音システムRは、演奏に併せて伴奏を録音してもよい。
【0138】
(7)上述の各形態において、再生開始指示、再生終了指示、録音開始指示、及び、録音終了指示は、オーディオインターフェース装置1が具備する再生ボタン111及び録音ボタン113へのユーザによる押下によって発生したが、録音装置8へのユーザの操作によって発生してもよい。例えば、表示装置88は、再生ボタン及び録音ボタンを表示してもよい。放音信号SOUTの再生を停止しているときに表示装置88に表示された再生ボタンが押下された場合、録音装置8は、再生開始指示をオーディオインターフェース装置1に送信する。オーディオインターフェース装置1は、録音装置8から再生開始指示を受け付けたことを表示してもよい。例えば、録音装置8から再生開始指示を受け付けたことを示すために、再生ボタン111が発光可能であってもよい。オーディオインターフェース装置1は、録音装置8から再生開始指示を受け付けた場合、再生ボタン111を発光させる。同様に、録音装置8から録音開始指示を受け付けたことを示すために、録音ボタン113が発光可能であってもよい。
【0139】
(8)以上に例示した伴奏入力処理部131、生成部133、収音出力処理部135、及び、第1送信部137は、前述の通り、第1制御装置13及び第1記憶装置16に記憶されたプログラムの協働により実現される。本開示に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性(non-transitory)の記録媒体であり、CD-ROM等の光学式記録媒体(光ディスク)が好例であるが、半導体記録媒体又は磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号(transitory, propagating signal)を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。
【0140】
(9)以上に例示した形態から、例えば以下の構成が把握される。
本開示のひとつの態様(態様1)に係るオーディオインターフェース装置は、楽曲を構成する複数のパートのうち第1パートの音を表す第1音データの時系列を記憶する録音装置と通信可能なオーディオインターフェース装置であって、第1記憶部と、第2記憶部と、前記録音装置から受信した前記第1音データの時系列を前記第1記憶部に格納する第1入力処理部と、前記第1記憶部に格納された前記第1音データに応じた音信号を再生装置に出力する第1出力処理部と、前記複数のパートのうち入力機器に対する入力に応じた第2パートの音を表す第2音データを取得する第2入力処理部と、前記第1音データと前記第2音データとを同期させるための同期データを生成する生成部と、前記第2音データの時系列を前記第2記憶部に格納し、当該第2記憶部に記憶された前記第2音データの時系列を出力する第2出力処理部と、前記第2出力処理部が出力した前記第2音データの時系列と、前記生成部が生成した前記同期データとを前記録音装置に送信する第1送信部と、を具備する。以上の態様によれば、オーディオインターフェース装置と録音装置との通信が不安定であり、第2音データを一時的に録音装置に送信できない場合であっても、第2音データが第2記憶部に記憶されるため、第2音データが表す音の途切れを抑制できる。さらに、通信が不安定であり、第1音データに対して第2音データの送信が遅延したとしても、同期データを用いることにより、録音装置は、第1音データと第2音データとを精度良く同期できる。
【0141】
態様1の一例(態様2)では、前記第1送信部は、無線通信により前記第2音データの時系列と前記同期データとを前記録音装置に送信する。以上の態様によれば、録音装置との無線通信が、ノイズによる干渉によって遅延した場合であっても、第2音データが表す音の途切れを抑制でき、録音装置が、第1音データと第2音データとを精度良く同期できる。
【0142】
態様1又は態様2の一例(態様3)では、前記同期データは、前記第1音データの時系列の先頭に対応する第1時点と、前記第2音データの時系列の先頭に対応する時点とが同時であることを示すデータを含む。以上の態様によれば、録音装置は、同期データを参照して、第1音データの時系列の先頭と、第2音データの時系列の先頭とを合わせることにより、第1音データと第2音データとを精度良く同期することができる。
【0143】
態様1から態様3のいずれかの一例(態様4)では、同期データは、前記第1音データの時系列の先頭に対応する第1時点から、前記第2音データの時系列の先頭に対応する時点までの経過時間を示すデータを含む。以上の態様によれば、録音装置は、同期データを参照して、第1音データの時系列の先頭から同期データが示す時間経過した第1音データと、第2音データの時系列の先頭とを合わせることにより、第1音データと第2音データとを精度良く同期することができる。
【0144】
態様1から態様4のいずれかの一例(態様5)では、前記第1送信部は、前記第1音データの時系列の先頭に対応する第1時点から、前記第2音データの時系列における複数の第2音データの各々に対応する時点までの経過時間を示すデータを含む前記同期データを、前記第2音データの時系列に対応付けて、前記録音装置に送信する。以上の態様によれば、録音装置は、同期データを参照して、第1音データの時系列において同期データが示す経過時間が経過した第1音データと、第2音データの時系列において同期データが対応付けられた第2音データとを合わせることにより、第1音データと第2音データとを精度良く同期できる。
【0145】
態様1から態様5のいずれかの一例(態様6)では、前記第2出力処理部は、前記第1音データと前記第2音データとを混合する混合部を含む。以上の態様によれば、ユーザは、第1音データが表す音と第2音データが表す音とが混合された音を聞くことができる。
【0146】
態様1から態様6のいずれかの一例(態様7)では、前記第1出力処理部は、前記第1記憶部に記憶された前記第1音データの時系列に応じた音信号を、前記再生装置に複数回にわたり出力する。以上の態様によれば、録音装置は、オーディオインターフェース装置に第1音データの時系列が表す音を複数回放音させる場合に、第1音データを1度のみ送信すればよく、録音装置とオーディオインターフェースとの通信量を削減できる。
【0147】
態様7の一例(態様8)では、前記複数回の各々について、前記第2出力処理部は、前記入力機器に対する入力に応じた前記第2パートの音を表す第2音データの時系列を前記第2記憶部に格納する。以上の態様によれば、ユーザは、オーディオインターフェース装置が第1音データの時系列が表す音を複数回にわたり放音する場合に、複数回の各々の音を聞き比べできる。
【0148】
本開示のひとつの態様(態様9)に係る録音システムは、態様1から8のいずれか1項に記載のオーディオインターフェース装置と、前記録音装置とを含む録音システムであって、前記録音装置は、前記第1音データの時系列のうち出力を開始する開始時点を示す表示部と、前記第1音データの時系列のうち、前記開始時点から所定の期間までに対応する第1音データの時系列を、前記オーディオインターフェース装置に送信する第2送信部と、を具備する。以上の態様によれば、オーディオインターフェース装置は、開始時点から所定の期間に含まれる第1音データの時系列が表す音を再生できる。
【0149】
態様9の一例(態様10)では、前記複数のパートには、前記第1パートが複数含まれており、前記第1音データは、複数の第1パートのそれぞれの第1パートの音を表す音データをミックスダウンしたデータである。以上の態様によれば、第1パートが複数ある場合でも、複数の第1パートの音を表す音データをミックスダウンすることにより、本開示を適用できる。
【符号の説明】
【0150】
1、1a、1b…オーディオインターフェース装置、8…録音装置、13、13a、13b…第1制御装置、15、15b…出力ポート処理部、83…第2制御装置、88…表示装置、131…伴奏入力処理部、133、133a、133b…生成部、135、135b…収音出力処理部、137、137a…第1送信部、151…出力ポート、153…ミキサ、181…入力ポート、DIN…伴奏データ、DIN…収音データ、R、Ra、Rb…録音システム、SD…同期データ。