特開 2024-14074 音出力システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024014074

(43)【公開日】2024-02-01

(54)【発明の名称】音出力システム

(51)【国際特許分類】

   G10H 1/00 20060101AFI20240125BHJP

   G10F 1/02 20060101ALI20240125BHJP

   G10G 3/04 20060101ALI20240125BHJP

【ＦＩ】

G10H1/00 102Z

G10F1/02

G10G3/04

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022116646

(22)【出願日】2022-07-21

(71)【出願人】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】110000408

【氏名又は名称】弁理士法人高橋・林アンドパートナーズ

(72)【発明者】

【氏名】上原 春喜

(72)【発明者】

【氏名】大川 陽貴

【テーマコード（参考）】

5D182

5D478

【Ｆターム（参考）】

5D182AC01

5D182AD01

5D478EB05

5D478EB31

5D478LL06

(57)【要約】

【課題】演奏時の演奏音を忠実に再現し、該演奏音に基づいて操作子を駆動して、演奏時の演奏を正確に再現する。
【解決手段】一実施形態に係る音出力システムは、供給された音データに応じた音を出力するスピーカ装置と、１つ以上の操作子と、前記音データと同期して供給される演奏データに基づいて前記１つ以上の操作子を駆動する駆動部と、前記駆動部を制御する駆動制御部と、を含む操作装置と、を備える。該音出力システムによると、演奏時の演奏音を忠実に再現し、該演奏音に基づいて操作子を駆動して、演奏時の演奏を正確に再現することができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

供給された音データに応じた音を出力するスピーカ装置と、
１つ以上の操作子と、前記音データと同期して供給される演奏データに基づいて前記１つ以上の操作子を駆動する駆動部と、前記駆動部を制御する駆動制御部と、を含む操作装置と、
を備える音出力システム。

【請求項2】

前記操作装置は、前記音データを前記スピーカ装置に供給し、前記演奏データを前記駆動制御部に供給する供給部を含む、請求項１に記載の音出力システム。

【請求項3】

取得された前記音データに基づいて前記演奏データを生成する演奏データ生成部と、
をさらに備える、請求項１または２に記載の音出力システム。

【請求項4】

前記音データを前記スピーカ装置に供給し、前記演奏データを前記駆動制御部に供給する供給部をさらに備える、請求項１に記載の音出力システム。

【請求項5】

前記音データと前記演奏データとを関連付けて記憶するための記憶部をさらに備え、
前記供給部は、前記記憶部から前記音データと前記演奏データとを読み出す、請求項３に記載の音出力システム。

【請求項6】

前記音データは１以上の楽器音を含む演奏音であり、前記演奏データ生成部は、前記音データに応じた音のうち所定の楽器音に基づいて前記演奏データを生成する、請求項３に記載の音出力システム。

【請求項7】

取得された前記音データに応じた音から残響成分を除去する残響処理部をさらに含む、請求項３に記載の音出力システム。

【請求項8】

前記音データを前記演奏データに対して相対的に遅延させる遅延処理を行う調整部をさらに含む、請求項１に記載の音出力システム。

【請求項9】

前記操作装置は、前記１つ以上の操作子として複数の鍵を含む鍵盤装置であり、
前記鍵盤装置は、
前記複数の鍵とそれぞれ連動する複数のハンマと、
前記複数のハンマが弦を打撃することを阻止するストッパと、
前記ストッパを駆動するストッパ駆動部と、
前記ストッパ駆動部を制御するストッパ駆動制御部と、
を含み、
前記ストッパ駆動制御部は、前記スピーカ装置による前記音データに応じた音の出力と同期して、前記駆動部が前記複数の鍵を駆動する間、前記ストッパが前記弦を打撃することを阻止するよう前記ストッパ駆動部を制御する、請求項１に記載の音出力システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、音出力システムに関する。

【背景技術】

【0002】

ＭＩＤＩデータに基づいて発音し、打弦することなく鍵盤を駆動する、いわゆる自動演奏ピアノが知られている。例えば、特許文献１には、ネットワークを介して同期演奏することができる自動演奏ピアノが開示されている。特許文献２には、ネットワークを介して送信されたＭＩＤＩ規格の演奏操作情報に基づいて演奏操作される演奏操作装置が開示されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平０８－２９２７６５号公報

【特許文献2】実開平０５－０５２８６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記特許文献１～３に開示された技術によれば、ＭＩＤＩデータに基づいて鍵盤装置の自動演奏を行うことができる。一方、演奏音を一旦、ＭＩＤＩデータに変換するため、演奏時の演奏音そのものの忠実な再現性が低いという問題がある。

【0005】

本開示の目的の一つは、演奏時の演奏音を忠実に再現し、該演奏音に基づいて操作子を駆動して、演奏時の演奏を正確に再現することにある。

【課題を解決するための手段】

【0006】

本開示の一実施形態によると、供給された音データに応じた音を出力するスピーカ装置と、１つ以上の操作子と、前記音データと同期して供給される演奏データに基づいて前記１つ以上の操作子を駆動する駆動部と、前記駆動部を制御する駆動制御部と、を含む操作装置と、を備える音出力システムが提供される。

【発明の効果】

【0007】

本開示の一実施形態によれば、演奏時の演奏音を忠実に再現し、該演奏音に基づいて操作子を駆動して、演奏時の演奏を正確に再現することができる。

【図面の簡単な説明】

【0008】

【図1】本開示の一実施形態に係る音出力システムの概略図である。

【図2】本開示の一実施形態に係るスピーカ装置の構成を示すブロック図である。

【図3】本開示の一実施形態に係る操作装置の一例を示す斜視図である。

【図4】鍵盤装置の内部構造を説明する図である。

【図5】鍵盤装置の制御装置の構成を示すブロック図である。

【図6】本開示の一実施形態に係る供給部の構成を示すブロック図である。

【図7】供給部の制御部の機能構成を示すブロック図である。

【図8】本開示の一実施形態に係るサーバの構成を示すブロック図である。

【図9】演奏データ生成部の構成を示すブロック図である。

【図10】本開示の一実施形態の変形例に係るスピーカ装置の構成を示すブロック図である。

【発明を実施するための形態】

【0009】

以下、本開示の一実施形態における音出力システムについて、図面を参照しながら詳細に説明する。以下に示す実施形態は、本開示の実施形態の一例であって、本開示はこれらの実施形態に限定して解釈されるものではない。なお、本実施形態で参照する図面において、同一部分または同様な機能を有する部分には同一の符号または類似の符号（数字の後にＡ、Ｂ等を付しただけの符号）を付し、その繰り返しの説明は省略する場合がある。

【0010】

［音出力システムの全体構成］
図１は、本開示の一実施形態に係る音出力システム１０の概略構成図である。音出力システム１０は、スピーカ装置１００、鍵盤装置２００、供給部３００、サーバ４００を含む。

【0011】

［１．スピーカ装置の構成］
スピーカ装置１００は、音データに応じた音を出力する。音データは、供給部３００からスピーカ装置１００に供給される。音データは、楽曲の発音内容を示す楽曲データから残響除去処理されたオーディオ信号を示すデータである。図２は、スピーカ装置１００の構成を示すブロック図である。図２を参照すると、スピーカ装置１００は、音データ取得部１０１、イコライザ（ＥＱ）１０３、Ｄ／Ａコンバータ（ＤＡＣ）１０５、増幅部１０７、及びスピーカユニット１０９を含む。

【0012】

音データ取得部１０１は、供給部３００から音データを取得する。音データ取得部１０１は、取得した音データをイコライザ１０３に供給する。イコライザ１０３は、音データ取得部１０１から供給された音データの周波数特性を調整し、Ｄ／Ａコンバータ１０５に出力する。

【0013】

Ｄ／Ａコンバータ１０５は、イコライザ１０３から取得して、周波数特性が調整された音データをデジタル信号からアナログ信号に変換して、増幅部１０７に出力する。増幅部１０７は、設定された増幅率に応じてアナログ変換された音データを増幅させて、スピーカユニット１０９に出力する。

【0014】

スピーカユニット１０９は、音を放射する部材である。スピーカユニット１０９は、電磁型のスピーカユニットであってもよいが、これに限定されるわけではない。スピーカユニット１０９は、増幅部１０７から供給された音データに基づいて放音する。音データは、ストリーミングデータとして供給されてもよい。

【0015】

［２．鍵盤装置の構成］
鍵盤装置２００は、１つ以上の操作子として複数の鍵と、演奏データに基づいて、複数の鍵を駆動する鍵駆動部と、該駆動部の動作を制御する鍵駆動制御部と、を含む。演奏データは、ＭＩＤＩデータである。演奏データは、テンポ及びデュレーション（ゲートタイム）に応じて決まる時間軸上に規定されたノートオン、ノートオフを含む演奏イベント情報、及び発音内容の音高を示す音高情報を含む。音高情報は、キーナンバに対応する。演奏データは、音データに対応しており、スピーカ装置１００に供給される音データと同期して供給部３００から鍵盤装置２００に供給される。

【0016】

図３は、本実施形態における鍵盤装置２００の一例を示す斜視図である。鍵盤装置２００は、その前面に演奏者によって演奏操作がなされる鍵２０２が複数配列された鍵盤、及びペダル２０３を有する鍵盤楽器である。鍵盤装置２００のペダルは複数存在するが、ペダル２０３はダンパペダルを示す。また、鍵盤装置２００は、前面部分に操作パネル２１３を有する制御装置２１０、および譜面台部分に設けられたタッチパネル２６０を有する。

【0017】

ユーザの指示は、操作パネル２１３およびタッチパネル２６０が操作されることにより、制御装置２１０に対して入力可能になっている。鍵盤装置２００は、複数の動作モードを有する。鍵盤装置２００は、ユーザの指示に基づいて設定された動作モードに基づいて、鍵盤装置２００の各構成の動作を制御する。動作モードには、鍵２０２の駆動によらず生成した音をスピーカ装置１００から発生させるモードが含まれる。各動作モードの詳細については、後述する。

【0018】

図４は、鍵盤装置２００の内部構造を説明する図である。図４においては、各鍵２０２に対応して設けられている構成については、図示する１つの鍵２０２（この例では白鍵）に対応して設けられている各構成に着目して示し、他の鍵２０２に対応して設けられている各構成については記載を省略している。

【0019】

各鍵２０２の後端側（鍵盤装置２００を演奏するユーザから見て鍵２０２の奥側）の下部には、ソレノイドを用いて鍵２０２を駆動する鍵駆動部２３０が設けられている。鍵駆動部２３０は、供給部３００から供給された演奏データに基づいた鍵制御信号に応じてソレノイドを駆動する。鍵駆動部２３０は、ソレノイドを駆動してプランジャを上昇させることにより、ユーザが押鍵したときと同様な状態を再現する一方、プランジャを下降させることにより、ユーザが離鍵したときと同様な状態を再現する。

【0020】

ハンマ２０４は、各鍵２０２に対応して設けられ、鍵２０２が押下されるとアクション機構２４５を介して力が伝達されて移動し、各鍵２０２に対応して設けられた弦５を打撃する。弦２０５は、ハンマ２０４からの打撃により、発音する発音体である。弦２０５は、それぞれ、各鍵２０２に対応した振動周波数を有する。

【0021】

ダンパ２０８は、ダンパ動作機構２８０によって移動される。ダンパ動作機構２８０は、鍵２０２の押下量、およびペダル２０３の踏込量に応じて、ダンパ２０８と弦２０５との接触状態を制御するようにダンパ２０８を移動させる。この接触状態の制御とは、ダンパ２０８と弦２０５とが接触して弦２０５の振動を抑制する位置（制振位置）から、弦２０５がダンパ２０８から解放される位置（解放位置）までの範囲で、ダンパ２０８を移動させることを意味する。

【0022】

なお、本実施形態では、鍵盤装置２００の８８個の鍵２０２の全てにそれぞれダンパ２０８を有するものとして説明している。しかしながら、鍵盤装置２００は、一般的なピアノのように、最低音から６６鍵あるいは７０鍵にそれぞれ対応するダンパ２０８を有し、それより高い音高の鍵２０２はダンパ２０８を持たない構造を有してもよい。

【0023】

ストッパ２４０は、動作モードに適用された設定が所定の設定であるときに、ハンマシャンクと衝突して、打弦前にハンマ２０４による弦２０５への打撃を阻止する部材である。ストッパ２４０は、制御装置２１０からのストッパ制御信号に応じて、ハンマシャンクと衝突する位置（以下、阻止位置という）と、ハンマシャンクと衝突しない位置（以下、待避位置という）とのいずれかに移動する。

【0024】

ストッパ駆動部２４４は、動作モードに適用された設定が所定の設定であるときに、制御装置２１０からのストッパ制御信号に応じて駆動されるモータであってもよい。ストッパ駆動部２４４は、ストッパ２４０を阻止位置、及び待避位置のいずれかに移動させる。

【0025】

鍵センサ２２２は、各鍵２０２の下部に設けられ、鍵２０２の挙動に応じた検出信号を制御装置２１０に出力する。この例においては、鍵センサ２２２は、鍵２０２の押下量を連続量で検出し、検出結果を示す検出信号を制御装置２１０に出力する。なお、鍵センサ２２２は、鍵２０２の押下量に応じた検出信号を出力する代わりに、鍵２０２が特定の押下位置を通過したことを示す検出信号が出力されるようにしてもよい。特定の押下位置とは、鍵２０２のレスト位置からエンド位置に至る範囲のいずれかの位置であり、複数箇所であることが望ましい。鍵センサ２２２が出力する検出信号は、鍵２０２の挙動を制御装置２１０が認識することができる信号であればどのようなものであってもよい。

【0026】

ハンマセンサ２２４は、各ハンマ２０４に対応して設けられ、ハンマ２０４の挙動に応じた検出信号を制御装置２１０に出力する。本実施形態では、ハンマセンサ２２４は、ハンマ２０４による弦２０５の打撃直前の移動速度を検出し、検出結果を示す検出信号を制御装置２１０に出力する。この検出信号は、ハンマ２０４の移動速度そのものを示すものでなくてもよく、別の態様での検出信号として、例えば、制御装置２１０において移動速度が算出されるようにしてもよい。ハンマセンサ２２４が出力する検出信号は、ハンマ２０４の挙動を制御装置２１０が認識することができる信号であればどのようなものであってもよい。

【0027】

ペダルセンサ２２３は、各ペダル２０３に対応して設けられ、ペダル２０３の挙動に応じた検出信号を制御装置２１０に出力する。この例においては、ペダル２０３の踏込量を検出し、検出結果を示す検出信号を制御装置２１０に出力する。ペダルセンサ２２３は、ペダル２０３の踏込量に応じた検出信号を出力する代わりに、ペダル２０３が特定の踏込位置を通過したことを示す検出信号が出力されるようにしてもよい。特定の踏込位置とは、ペダルのレスト位置からエンド位置に至る範囲のいずれかの位置であり、複数箇所で検出することができるようにしてもよい。ペダルセンサ２２３が出力する検出信号は、ペダル２０３の挙動を制御装置２１０に認識させることができる信号であればどのようなものであってもよい。

【0028】

ペダル駆動部２３３は、各ペダル２０３対応して設けられ、制御装置２１０によるペダル制御信号に応じて対応するペダル２０３を押下するように駆動する。これによって、演奏者がペダル２０３を踏み込んだときと同じ状況を機械的に再現する。

【0029】

鍵センサ２２２、ペダルセンサ２２３、およびハンマセンサ２２４から出力される検出信号に基づいて、制御装置２１０が、弦２０５に対するハンマ２０４の打撃タイミング（キーオンのタイミング）、打撃速度（ベロシティ）、およびその弦２０５に対するダンパ２０８の振動抑制タイミング（キーオフのタイミング）を、各鍵２０２（キーナンバ）に対応して特定することができるようになっていればよい。したがって、鍵センサ２２２、ペダルセンサ２２３およびハンマセンサ２２４は、鍵２０２、ペダル２０３、ハンマ２０４の挙動を検出した結果を、上記の態様とは異なる検出信号として出力してもよい。

【0030】

響板２０７は、響棒２７５および駒２０６が接続され、各弦２０５の振動が駒２０６を介して響板２０７に伝達される。

【0031】

図５は、制御装置２１０の構成を示すブロック図である。制御装置２１０は、制御部２１１、記憶部２１２、操作パネル２１３、通信部２１４、鍵駆動制御部６１１、ストッパ駆動制御部６１２、ペダル駆動制御部６１３、およびインターフェース２１６を含む。これらの各構成はバス２１７を介して接続されている。制御装置２１０は、信号出力部２１５を含んでもよい。

【0032】

制御部２１１は、ＣＰＵ（Central Processing Unit）などの演算装置、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）などの記憶装置を有する。制御部２１１は、記憶装置に記憶されている制御プログラムに基づいて、制御装置２１０の各構成、及びインターフェース２１６に接続された各構成を制御する。この例においては、制御部２１１は、制御プログラムを実行することにより、制御装置２１０、及び制御装置２１０に接続された構成の一部を鍵盤楽器として機能させる。制御装置２１０に接続された各構成の制御には、制御信号が用いられる。例えば、上述した鍵制御信号、ストッパ制御信号およびペダル制御信号が含まれる。制御装置２１０は、設定された動作モードに応じて鍵盤装置２００を制御する。鍵盤装置２００に設定可能な動作モードについては後述する。

【0033】

記憶部２１２は、設定情報、楽曲データ、音データ、演奏データなど様々な情報を記憶する。楽曲データは、楽曲の発音内容を示すオーディオ信号を示すデータである。楽曲データのフォーマットは、例えば、ＷＡＶやＭＰ３等の各種コード化するフォーマットである。楽曲データは、楽曲の録音時に得られたオーディオ情報を含み、１つ以上の楽器の発音内容を含んでもよい。前述したように、音データは、楽曲データから残響除去処理されたオーディオ信号を示すデータである。演奏データは、演奏イベント情報及び音高情報を含むＭＩＤＩデータである。演奏データは、スピーカ装置１００に供給される音データに対応しており、演奏データと音データとは互いに同期している。ここで、演奏データと音データとが互いに同期しているとは、演奏データと音データとが、時間軸を合わせて再生されることを意味する。尚、演奏データは、テンポ及びデュレーションタイムに基づく時間軸に沿って再生され、音データは、タイムスタンプに合わせて再生される。設定情報は、制御プログラムの実行中に用いられる各種設定内容を示す。例えば、ユーザにより設定された動作モード、各動作モードにおいて適用される設定などを示す情報などが、設定情報に含まれる。

【0034】

操作パネル２１３は、ユーザの操作を受け付ける操作ボタンなどを有する。この操作ボタンによりユーザの操作が受け付けられると、操作に応じた操作信号が制御部２１１に出力される。インターフェース２１６に接続されたタッチパネル２６０は、液晶ディスプレイなどの表示画面を有し、その表示画面の表面部分には、ユーザの操作を受け付けるタッチセンサが設けられている。この表示画面には、制御部２１１のインターフェース２１６を介した制御により、各種設定をすることによって設定情報の内容を変更するため設定画面、設定された楽曲の楽譜などの各種情報が表示される。また、タッチパネル２６０により利用者の操作が受け付けられると、操作に応じた操作信号がインターフェース２１６を介して制御部２１１に出力される。すなわち、ユーザから制御装置２１０への指示は、操作パネル２１３またはタッチパネル２６０によって受け付けられる操作により入力される。

【0035】

通信部２１４は、無線、有線などにより、スピーカ装置１００、供給部３００など、他の装置と通信を行うインターフェースである。このインターフェースには、ＤＶＤ（Digital Versatile Disk）、ＣＤ（Compact Disk）などの記録媒体に記録された各種データを読み出し、読み出したデータを出力するディスクドライブが接続されていてもよいし、半導体メモリ等が接続されてもよいし、サーバ等の外部装置がネットワークを介して接続されてもよい。通信部２１４を介して制御装置２１０に入力されるデータは、例えば、演奏データであってもよく、楽曲データであってもよく、上記制御プログラムであってもよい。

【0036】

音源部２１５は、制御部２１１からの指示に基づいてオーディオ信号を生成して出力する。図示はしないが、音源部２１５は、オーディオ信号の周波数分布を調整するイコライザ部、オーディオ信号を増幅する増幅部を有する。音源部２１５は、例えば、楽曲データ、又は鍵センサ２２２、ペダルセンサ２２３、ハンマセンサ２２４の検出信号に従ってオーディオ信号を生成してもよい。音源部２１５は、各種フォーマットでコード化された楽曲データをデコードするデコード部（図示せず）を有してもよい。音源部２１５において生成されたオーディオ信号は、ヘッドフォン等が接続される端子に出力される。また、鍵盤装置２００が、加振器を含む場合、オーディオ信号は該加振器を駆動するための駆動信号に変換されてもよい。

【0037】

鍵駆動制御部６１１は、演奏データに基づいて鍵制御信号を生成する。生成された鍵制御信号は、インターフェース２１６を介して鍵駆動部２３０に出力される。鍵駆動制御部６１１は、演奏データに基づいた鍵制御信号を順次生成して、鍵駆動部２３０に出力してもよい。鍵駆動制御部６１１は、鍵センサ２２２の検出信号に基づいて鍵制御信号を生成してもよく、楽曲データに基づいて鍵制御信号を生成してもよい。

【0038】

ストッパ駆動部６１２は、演奏データ、及び動作モードに適用された所定の設定に基づいてストッパ制御信号を生成する。生成されたストッパ制御信号は、インターフェース２１６を介してストッパ駆動部２４４に出力される。

【0039】

ペダル駆動制御部６１３は、演奏データにペダルを駆動するための情報が含まれている場合、演奏データに基づいてペダル制御信号を生成する。生成されたペダル制御信号は、インターフェース２１６を介してペダル駆動部２３３に出力される。ペダル駆動制御部６１３は、ペダルセンサ２２３の検出信号に基づいてペダル制御信号を生成してもよく、楽曲データに基づいてペダル制御信号を生成してもよい。

【0040】

インターフェース２１６は、制御装置２１０と外部の各構成とを接続するインターフェースである。インターフェース２１６に接続される各構成は、この例においては、鍵センサ２２２、ペダルセンサ２２３、ハンマセンサ２２４、鍵駆動部２３０、ストッパ駆動部２４０、タッチパネル２６０、及びペダル駆動部２３３である。インターフェース２１６は、鍵センサ２２２、ペダルセンサ２２３、ハンマセンサ２２４から出力される検出信号、及びタッチパネル２６０から出力される操作信号を、制御部２１１に出力する。また、インターフェース２１６は、鍵制御信号を鍵駆動部２３０に出力し、ストッパ制御信号をストッパ駆動部２４０に出力し、ペダル制御信号をペダル駆動部２３３に出力する。

【0041】

［３．動作モードの説明］
鍵盤装置２００に設定可能な動作モードについて説明する。鍵盤装置２００は、複数の動作モードのいずれかが選択されて設定される。複数の動作モードは、手動演奏モード、及び自動演奏モードを含む各動作モードは、タッチパネル２６０又は操作パネル２１３により、鍵盤装置２００のユーザによって設定することができる。各動作モードと適用される設定内容について説明する。

【0042】

＜手動演奏モード＞
手動演奏モードは、演奏者が鍵盤装置２００の鍵２０２を操作して演奏する際に用いるモードである。手動演奏モードでは、通常設定、又は消音設定が鍵盤装置２００に適用される。

【0043】

通常設定は、鍵盤装置２００をアコースティックピアノとして演奏する場合の設定である。通常設定が適用されるとき、ストッパ２４０は、待避位置に移動しており、ハンマ２０４は弦２０５を打撃する。

【0044】

一方、手動演奏モードでの消音設定は、鍵盤装置２００を電子ピアノとして演奏する場合の設定である。手動演奏モードで消音設定が適用されるとき、ストッパ２４０は、阻止位置に移動しており、ハンマ２０４による弦２０５の打撃はストッパ２４０によって阻止される。消音設定では、音源部２１５において、鍵センサ２２２、ペダルセンサ２２３、及びハンマセンサ２２４の検出信号に基づいたオーディオ信号が生成される。

【0045】

＜自動演奏モード＞
自動演奏モードは、演奏者が鍵盤装置２００の鍵２０２を操作する代わりに、楽曲データ、又は演奏データに基づいて鍵駆動部２３０により鍵２０２を駆動するモードである。自動演奏モードでは、自動演奏設定、又は消音設定が鍵盤装置２００に適用される。

【0046】

自動演奏設定は、鍵盤装置２００を通常の自動演奏ピアノとして駆動するモードである。自動演奏設定が適用されるとき、鍵駆動制御部６１１は、演奏データに基づいて鍵制御信号を生成する。鍵制御信号は、鍵駆動部２３０に出力されて、鍵２０２は、鍵駆動部２３０によって駆動される。一方、ストッパ２４０は、阻止位置に移動しており、ハンマ２０４による弦２０５の打撃はストッパ２４０によって阻止される。代わりに、音源部２１５において、演奏データに基づいてオーディオ信号が生成される。

【0047】

自動演奏モードにおける消音設定は、鍵盤装置２００を自動演奏ピアノとして駆動する際に、音源部２１５においてオーディオ信号を生成せずに、代わりにスピーカ装置１００から音を出力するモードである。自動演奏モードで消音設定が適用されるとき、鍵駆動制御部６１１は、演奏データに基づいて鍵制御信号を生成する。上述したように、演奏データは、スピーカ装置１００に供給される音データと同期して供給部３００から鍵盤装置２００に供給される。鍵制御信号は、鍵駆動部２３０に出力されて、鍵２０２は、鍵駆動部２３０によって駆動される。一方、ストッパ２４０は、阻止位置に移動しており、ハンマ２０４による弦２０５の打撃はストッパ２４０によって阻止される。自動演奏モードでの消音設定では、鍵盤装置２００における鍵２０２の駆動に同期して、音データに応じた音がスピーカ装置１００から放音される。なお、スピーカ装置１００は、音データに応じた音でなく、楽曲データに応じた音を放音してもよい。例えば、楽曲データに応じた音を再生する場合に、残響音に不自然さがあれば音データに応じた音を放音し、不自然さがなければ楽曲データに応じた音を放音するようにしてもよい。楽曲データを放音する場合、音データを省略することもできる。

【0048】

［４．供給部の構成］
図１に戻り、供給部３００について説明する。供給部３００は、音データをスピーカ装置１００に供給し、音データに同期した演奏データを鍵盤装置２００に供給する。演奏データは、鍵盤装置２００の鍵駆動制御部６１１、及びペダル駆動制御部６１３に供給される。

【0049】

図６は、供給部３００の構成を示すブロック図である。供給部３００は、制御部３１１、記憶部３１２、操作部３１３、及び通信部３１４を含む。供給部３００は、スマートフォン等の携帯端末装置であってもよい。供給部３００の各構成は、バス３１５によって互いに接続される。

【0050】

制御部３１１は、ＣＰＵ（Central Processing Unit）６０１などの演算装置、ＲＡＭ（Random Access Memory）６０２、およびＲＯＭ（Read Only Memory）６０３などの記憶装置を有する。ＣＰＵ６０１は、ＲＯＭ６０３に記憶されている制御プログラムに基づいて、供給部３００の各構成を制御する。ＲＯＭ６０３は、ＣＰＵ６０１が実行する各種のコンピュータプログラム、ＣＰＵ６０１が所定のコンピュータプログラムを実行する際に参照する各種のテーブルデータなどを読み出し可能に記憶する。ＲＡＭ６０２は、ＣＰＵ６０１が所定のコンピュータプログラムを実行する際に発生する各種データなどを一時的に記憶するワーキングメモリとして使用される。あるいは、ＲＡＭ６０２は、実行中のコンピュータプログラムやそれに関連するデータを一時的に記憶するメモリなどとして使用されてもよい。

【0051】

記憶部３１２は、通信部３１４を介して取得した音データを記憶する。また、記憶部３１２は、後述するサーバ４００から取得した演奏データを記憶してもよい。このとき、音データ及び演奏データは、同期して再生できるように互いに関連付けられて記憶される。また、記憶部３１２は、楽曲データを記憶してもよい。制御部３１１は、操作部３１３に入力されたユーザの楽曲再生指示に基づいて、記憶部３１２から音データと、該音データに関連付けられた演奏データとを読み出す。制御部３１１は、通信部３１４を介して、音データをスピーカ装置１００に、演奏データを鍵盤装置２００にそれぞれ同期させて供給する。尚、本実施形態では、記憶部３１２が供給部３００の構成として説明しているが、本開示はこれに限定されない。例えば、記憶部３１２は、外部の記憶装置や、外部サーバの記憶部によって実現されてもよい。この場合、供給部３００と外部装置とはネットワークを介して接続され、供給部３００は、操作部３１３に入力されたユーザの楽曲再生指示に基づいて、外部装置に記憶された音データ、及び該音データに関連付けられた演奏データを読み出す。

【0052】

操作部３１３は、ユーザの操作を受け付ける操作ボタンやタッチパネルなどである。操作部３１３にユーザの操作が入力されると、入力された操作に応じた操作信号が制御部３１１に出力される。操作信号には、例えば、ユーザが所望する楽曲を指定する楽曲指定情報や、所望の楽器音を指定する楽器指定情報、楽曲の再生を支持するための楽曲再生指示が含まれる。

【0053】

通信部３１４は、無線、有線などにより他の装置と通信を行うインターフェースである。このインターフェースには、ＤＶＤ（Digital Versatile Disk）、ＣＤ（Compact Disk）などの記録媒体に記録された各種データを読み出し、読み出したデータを出力するディスクドライブが接続されていてもよいし、半導体メモリ等が接続されてもよいし、サーバ等の外部装置がネットワークを介して接続されてもよい。供給部３００は、楽曲指定情報に応じて、通信部３１４を介して、ＣＤなどの記録媒体に記録されたデジタル音源や、外部のサーバ等からＭＰ３等の所望の楽曲データを取得することができる。楽曲データは、１つ以上の楽器の演奏音を含むオーディオ信号であってもよい。また、供給部３００は、通信部３１４を介して、ユーザの楽曲再生指示に応じて読み出した音データをスピーカ装置１００に供給し、演奏データを鍵盤装置２００に供給する。

【0054】

制御部３１１は、音データをスピーカ装置１００に、演奏データを鍵盤装置２００にそれぞれ送信する前に、演奏データに基づく鍵の駆動開始のタイミングに対して音データに基づく発音開始のタイミングを調整してもよい。具体的には、制御部３１１は、演奏データに対して、音データを相対的に所定時間だけ遅延させる遅延処理を実行してもよい。該所定時間は、予め定められた時間、例えば、０．５ｓｅｃであってよく、操作部３１３などを介してユーザから設定された時間であってもよい。

【0055】

図７は、制御部３１１の機能構成を示すブロック図である。制御部３１１は、データ取得部７０１及び調整部７０３を有する。以下に述べるデータ取得部７０１及び調整部７０３の機能は、制御部３１１のＣＰＵ６０１によって実行されてもよい。

【0056】

データ取得部７０１は、操作部３１３に入力されたユーザの指示に基づいて、記憶部３１２から音データと、該音データに関連付けられた演奏データとを読み出して取得する。データ取得部７０１は、取得した音データ及び演奏データを調整部７０３に出力する。

【0057】

調整部７０３は、音データ及び演奏データを受け、演奏データに基づく鍵の駆動開始のタイミングに対して、音データに基づく発音開始のタイミングを調整する。具体的には、調整部７０３は、演奏データに対して、音データを相対的に所定時間だけ遅延させる遅延処理を行う。遅延処理は、例えば、演奏データに基づく鍵盤装置２００での鍵の駆動開始のタイミングに対して、スピーカ装置１００における発音開始のタイミングを所定時間だけ遅延させるために、音データの最初に所定期間に対応する無音期間を挿入する処理を含んでもよい。或いは、遅延処理は、演奏データを鍵盤装置２００に送信開始するタイミングに対して、音データをスピーカ装置１００に送信開始するタイミングを所定時間遅らせる処理を含んでもよい。或いは、遅延処理は、音データに基づく放音の開始時間に対し、演奏イベントの開始時間を所定時間だけ前にずらす処理を含んでもよい。この場合、テンポ及びデュレーションに応じて決まる時間軸上に規定された、演奏データに含まれる演奏イベント情報のタイミングを所定時間だけ前にずらしてもよい。上述したように、所定時間は遅延時間とも呼び、予め設定された時間、例えば、０．５ｓｅｃであってもよい。また、楽曲に応じて、ユーザは、操作部３１３を介して遅延時間を変更することもできる。

【0058】

アコースティックピアノの場合、押鍵されてから、実際に発音されるまでにインターバルが確認される。このインターバルは、押鍵動作から発音までに、押鍵動作に応じてハンマが動作し、ハンマが押鍵された鍵に対応する弦を打弦するまでにかかる時間に対応する。調整部７０３により、演奏データに対して、音データを相対的に遅延させることにより、音出力システム１０において、アコースティックピアノの発音の再現性を高めることができる。また、アコースティックピアノにおいて、押鍵されてから、実際に発音されるまでのインターバルは、押鍵速度によって異なる。アコースティックピアノにおいて、押鍵速度が小さいほど、インターバルは大きくなる。そのため、楽曲に含まれる音の強弱に応じて、演奏データに対して、音データを相対的に遅延させる時間、即ち遅延時間を変更することにより、音出力システム１０において、アコースティックピアノの発音の再現性をより高めることができる。また、鍵盤装置２００において、演奏データに含まれるノートオンから、実際に鍵駆動部２３０によって対応する鍵２０２が駆動されるまでにインターバルが確認される。このインターバルにより、鍵２０２が駆動される前に、該鍵２０２に対応する音がスピーカ装置１００から放音される可能性がある。調整部７０３により、演奏データに対して、音データを相対的に遅延させることにより、鍵２０２が駆動される前に、スピーカ装置１００から該鍵２０２に対応する音が放音されることを防止し、より自然な演奏を再現することができる。

【0059】

［５．サーバの構成］
図１に戻り、サーバ４００について説明する。供給部３００は、取得した楽曲データをサーバ４００に送信する。このとき、供給部３００は、楽曲データとともに、楽器指定情報をサーバ４００に供給してもよい。サーバ４００は、供給部３００から取得した楽曲データを処理して、音データを生成する。サーバ４００は、生成した音データに基づいて、ＭＩＤＩ形式の演奏データを自動生成し、生成した演奏データを音データに関連付けて供給部３００に供給する。

【0060】

図８は、サーバ４００の構成を示すブロック図である。サーバ４００は、制御部４１１、記憶部４１２、演奏データ生成部４１３、通信部４１４を含む。サーバ４００の各構成は、バス４１５によって互いに接続される。

【0061】

制御部４１１は、ＣＰＵ（Central Processing Unit）などの演算装置、ＲＯＭ（Read Only Memory）、およびＲＡＭ（Random Access Memory）などの記憶装置を有する。制御部４１１は、記録装置に記憶されている制御プログラムに基づいて、サーバ４００の各構成を制御する。この例においては、制御部４１１は、制御プログラムを実行することにより、音データに基づく演奏データの自動生成機能を実行する。

【0062】

記憶部４１２は、通信部４１４を介して取得した楽曲データや楽器指定情報を記憶する。楽曲データや楽器指定情報は、後述する演奏データ生成部４１３に供給される。また、記憶部４１２は、演奏データ生成部４１３によって生成された演奏データを記憶してもよい。このとき、音データ及び演奏データは、互いに関連付けられて記憶される。

【0063】

演奏データ生成部４１３は、音データに基づいて演奏データを生成する。演奏データは、音データに対応するデータであり、例えばＭＩＤＩデータである。楽曲データが１つ以上の楽器の発音内容を含む場合、演奏データ生成部４１３は、楽器指定情報に基づいて、ユーザが所望する所定の楽器の発音内容に基づいて演奏データを生成する。

【0064】

図９は、演奏データ生成部４１３の構成を示すブロック図である。演奏データ生成部４１３は、楽器音選択部９１１、残響除去部９１２、及びデータ生成部９１３を含む。

【0065】

供給部３００から取得した楽曲データが１つ以上の楽器の発音内容を含む場合、楽曲データは、楽器指定情報とともに楽器音選択部９１１に供給される。楽器音選択部９１１は、楽器指定情報に基づいて、楽曲データから所定の楽器の発音内容を示す楽曲データを抽出する。楽器音選択部９１１は、楽器指定情報に基づいて抽出された楽曲データを、残響除去部９１２に供給する。尚、供給部３００から取得した楽曲データが１つの楽器の発音内容のみを含む場合、楽器音選択部９１１による所定の楽曲データの抽出処理は省略される。この場合、供給部３００から取得した楽曲データは、残響処理部９１２に直接供給されてもよい。

【0066】

残響除去部９１２は、取得した楽曲データから残響成分を除去して音データを生成する。具体的には、残響除去部９１２は、音データを解析し、エコーやリバーブ、ノイズ、その他の不明瞭な成分（例えば、アタックの強い音以外の音成分）を除去する。残響除去部９１２は、残響除去処理した音データをデータ生成部９１３に供給する。

【0067】

データ生成部９１３は、取得した音データに基づいて演奏データを生成する。上述したとおり、演奏データは、演奏内容を時間進行に応じた発音・止音制御で規定した制御データであって、発音内容の音高を指定する音高情報、発音期間を規定する期間情報等の演奏情報を含むＭＩＤＩデータである。データ生成部９１３は、音データ、及び該音データに基づいて生成した演奏データを互いに関連付けて出力する。データ生成部９１３から出力された音データ及び演奏データは、記憶部４１２に記憶される。また、データ生成部９１３から出力された音データ及び演奏データは、外部の記憶装置に互いに関連付けられて記憶されてもよい。

【0068】

上述した供給部３００は、ユーザから入力された操作に応じて、音データ、及び該音データに対応する演奏データをサーバ４００、又は外部の記憶装置から読み出す。供給部３００は、取得した音データ、及び演奏データを互いに同期させてスピーカ装置１００、及び鍵盤装置２００にそれぞれ供給する。

【0069】

このように、本実施形態に係る音出力システム１０では、鍵盤装置２００に自動演奏モード、且つ消音設定が適用される際に、鍵盤装置２００において、打弦音を発生させずに鍵駆動部２３０により鍵２０２が駆動されると同時に、スピーカ装置１００からオーディオ信号である音データに基づく音が出力される。音データは、録音時に得られたオーディオ情報を含む。そのため、音出力システム１０では、録音時の正確な演奏音を再現することができる。ユーザは、録音時の正確な演奏音を確認できるとともに、鍵盤装置２００における鍵２０２やペダル２０３の動作を見ることができる。

【0070】

また、残響成分が除去された音データに基づいた音がスピーカ装置１００から出力されることによって、音が放音された空間に応じた残響が音に加わる。そのため、ユーザは、該空間に適したより自然な音を楽しむことができる。

【0071】

［変形例］
以上、本開示の一実施形態について説明したが、本発明は以下のように、様々な態様で実施可能である。

【0072】

（１）鍵盤装置２００は、鍵以外の操作子を含む発音装置であってもよい。このような発音装置としては、例えば、ドラム、シンバル、管楽器などが挙げられる。また、操作子のみを含み、発音機能を有さない装置であってもよい。発音装置、及び発音機能を有さない装置を全て操作装置としてもよい。

【0073】

（２）上述した実施形態では、供給部３００は、鍵盤装置２００から独立している装置として説明した。しかしながら、供給部３００は、鍵盤装置２００に含まれていてもよい。この場合、鍵盤装置２００は、音データを、演奏データに同期させて、スピーカ装置１００に供給する。

【0074】

（３）上述した実施形態では、サーバ４００は、供給部３００から独立している装置として説明した。しかしながら、サーバ４００は、供給部３００に含まれていてもよい。この場合、サーバ４００の機能は、供給部３００により実行される。供給部３００は、楽曲データから音データ生成し、音データに基づいて演奏データを生成する。供給部３００は、音データを演奏データに同期させて、スピーカ装置１００に供給し、演奏データを音データに同期させて、鍵盤装置２００に供給する。

【0075】

（４）上述した実施形態では、サーバ４００は、鍵盤装置２００から独立している装置として説明した。しかしながら、サーバ４００は、鍵盤装置２００に含まれていてもよい。この場合、サーバ４００の機能は、鍵盤装置２００により実行される。鍵盤装置２００は、楽曲データから音データ生成し、音データに基づいて演奏データを生成する。鍵盤装置２００は、音データを演奏データに同期させて、スピーカ装置１００に供給する。

【0076】

（５）供給部３００、及びサーバ４００は、いずれも鍵盤装置２００に含まれてもよい。

【0077】

（６）上述した実施形態では、楽曲データが１つ以上の楽器の発音内容を含む場合、サーバ４００の楽器音選択部９１１において、楽器指定情報に応じて所定の楽器の楽曲データが抽出され、抽出された楽曲データを残響除去処理して音データ及び演奏データが生成された。生成された演奏データと対応する音データとは関連付けられて記憶され、供給部３００に供給された。しかしながら、供給部３００からスピーカ装置１００に供給される音データは、１つ以上の楽器の発音内容を含む、楽曲データであってもよい。つまり、楽器音選択部９１１及び残響除去部９１２において処理される前の楽曲データが、音データとして演奏データと関連付けられて供給部３００に供給されてもよい。ユーザは、所望の楽器の操作子の動作を鍵盤装置２００で確認できるとともに、該所望の楽器を含む複数の楽器のアンサンブルを楽しむことができる。

【0078】

（７）鍵盤装置２００において、ユーザが自動演奏モード、且つ消音設定を選択すると、供給部３００は、楽曲データを読み出し、音データ及び演奏データを生成するよう、サーバ４００に楽曲データと指示信号を出力してもよい。この場合、供給部３００は、ユーザが自動演奏モード、且つ消音設定を選択したことを検出すると、鍵盤装置２００に楽曲指定情報、及び楽器指定情報を問い合わせてもよい。

【0079】

（８）ユーザから入力された操作に基づき、供給部３００が楽曲データを読み出すと、鍵盤装置２００は、動作モードを自動演奏モード、且つ消音設定に自動的に変更してもよい。この場合、ユーザは、供給部３００の操作部３１３を介して楽曲指定情報、及び楽器指定情報を入力してもよい。

【0080】

（９）上述した実施形態では、供給部３００が、演奏データに対して、音データを相対的に所定時間だけ遅延させる遅延処理を実行することを説明した。しかしながら、この遅延処理は、スピーカ装置１００において実行されてもよい。図１０は、本変形例に係るスピーカ装置１００Ａの構成を示すブロック図である。スピーカ装置１００Ａの構成は、調整部１０２を含むことを除いて、図２に示したスピーカ装置１００の構成と略同一である。

【0081】

音データ取得部１０１は、供給部３００から音データとともに、演奏データに対して、音データを相対的に所定時間だけ遅延させるために遅延時間情報を取得し、調整部１０２に供給する。調整部１０２は、取得した音データ及び遅延時間情報に基づいて、演奏データに対して、音データを相対的に所定時間だけ遅延させる遅延処理を実行する。ここで、遅延処理は、スピーカ装置１００Ａからの発音開始のタイミングを所定時間だけ遅延させるために、音データの最初に所定期間に対応する無音期間を挿入する処理を含んでもよい。調整部１０２は、遅延処理された音データをイコライザ１０３に供給する。尚、本変形例において、調整部１０２によって音データに遅延処理が実行されるタイミングは、イコライザ１０３によって音データの周波数特性が調整される前に限定されない。遅延処理が実行されるタイミングは、音データ取得部１０１が音データ及び遅延時間情報を取得した後、且つスピーカユニット１０９が増幅部１０７によって増幅された音データを取得する前であればよい。

【0082】

（１０）上述した実施形態では、供給部３００が、演奏データに対して、音データを相対的に所定時間だけ遅延させる遅延処理を実行することを説明した。しかしながら、遅延処理は、サーバ４００において実行されてもよい。例えば、演奏データ生成部４１３において、遅延処理が実行されてもよい。この場合、演奏データ生成部４１３は、供給部３００から楽曲データとともに、遅延時間情報を取得する。演奏データ生成部４１３のデータ生成部９１３は、遅延時間に基づいて、演奏データに対して、音データを相対的に所定時間だけ遅延させる遅延処理を実行する。ここでの遅延処理は、上述した調整部７０３によって実行される遅延処理と同様である。

【0083】

（１１）上述した実施形態では、スピーカ装置１００は、供給部３００から供給された音データに基づいて順次放音し、鍵盤装置２００は、供給部３００から供給された演奏データに基づいて鍵制御信号を順次生成することを説明した。しかしながら、本開示はこれに限定されない。供給部３００は、ユーザからのデータ送信指示を受けて、音データをスピーカ装置１００に送信し、演奏データを鍵盤装置３００に送信してもよい。スピーカ装置１００は、供給部３００から供給された音データを１つのデータファイルとして記憶し、供給部３００を介して楽曲再生指示をユーザから受けると、音データに基づく音の放音を開始してもよい。同様に、鍵盤装置２００は、供給部３００から供給された演奏データを１つのデータファイルとして記憶し、供給部３００を介して楽曲再生指示をユーザから受けると、演奏データに基づいて鍵制御信号の生成を開始してもよい。

【0084】

このとき、演奏データに対して、音データを相対的に所定時間だけ遅延させる場合、供給部３００は、スピーカ装置１００に楽曲再生指示を送信するタイミングを、鍵盤装置２００に楽曲再生指示を送信するタイミングから所定時間遅らせてもよい。或いは、供給部３００は、鍵盤装置２００に楽曲再生指示を送信するタイミングを、スピーカ装置１００に楽曲再生指示を送信するタイミングよりも所定時間前にずらしてもよい。

【0085】

（１２）上述した実施形態では、鍵盤装置２００において、鍵２０２が鍵駆動部２３０によって駆動されることを説明した。しかしながら、本開示はこれに限定されない。例えば、鍵２０２そのものが駆動される構成に代えて、或いは鍵２０２そのものが駆動される構成に加えて、演奏データに基づいて鍵に内蔵された発光部の発光が制御されるようにしてもよい。

【0086】

本開示の一実施形態として上述した実施形態及び変形例は、相互に矛盾しない限りにおいて、適宜組み合わせて実施することができる。また、実施形態に示す構成を基にして、当業者が適宜構成要素の追加、削除もしくは設計変更を行ったもの、または、工程の追加、省略もしくは条件変更を行ったものも、本開示の要旨を備えている限り、発明の範囲に含まれる。

【符号の説明】

【0087】

１０・・・音出力装置、１００，１００Ａ・・・スピーカ装置、１０１・・・音データ取得部１０１、１０３・・・イコライザ、１０５・・・Ｄ／Ａコンバータ、１０７・・・増幅部、１０９・・・スピーカユニット、２００・・・操作装置（鍵盤装置）、２１１・・・制御部、２１２・・・記憶部、２１３・・・操作パネル、２１４・・・通信部、２１５・・・音源部、２１６・・・インターフェース、２１７・・・バス、２２２・・・鍵センサ、２２３・・・ペダルセンサ、２３０・・・鍵駆動部、２３３・・・ペダル駆動部、２４４・・・ストッパ駆動部、２６０・・・タッチパネル、３００・・・供給部、３１１・・・制御部、３１２・・・記憶部、３１３・・・操作部、３１４・・・通信部、４００・・・サーバ、４１１・・・制御部、４１２・・・記憶部、４１３・・・演奏データ生成部、４１４・・・通信部、６１１・・・鍵駆動制御部、６１２・・・ストッパ駆動制御部、６１３・・・ペダル駆動制御部、９１１・・・楽器音選択部、９１２・・・残響処理部、９１３・・・データ生成部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】