特許 7528487 再生制御方法、再生制御システムおよびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-29

(45)【発行日】2024-08-06

(54)【発明の名称】再生制御方法、再生制御システムおよびプログラム

(51)【国際特許分類】

   G10H 1/00 20060101AFI20240730BHJP

   G10H 1/043 20060101ALI20240730BHJP

【ＦＩ】

G10H1/00 Z

G10H1/043 A

【請求項の数】 11

(21)【出願番号】P 2020050817

(22)【出願日】2020-03-23

(65)【公開番号】P2021149026

(43)【公開日】2021-09-27

【審査請求日】2023-01-25

(73)【特許権者】

【識別番号】000004075

【氏名又は名称】ヤマハ株式会社

(74)【代理人】

【識別番号】100125689

【弁理士】

【氏名又は名称】大林 章

(74)【代理人】

【識別番号】100128598

【弁理士】

【氏名又は名称】高田 聖一

(74)【代理人】

【識別番号】100121108

【弁理士】

【氏名又は名称】高橋 太朗

(72)【発明者】

【氏名】入山 達也

【審査官】山下 剛史

(56)【参考文献】

【文献】特表２０１６－５３２９０３（ＪＰ，Ａ）

【文献】特開平１－２９３３９５（ＪＰ，Ａ）

【文献】特開平１１－１３３９５５（ＪＰ，Ａ）

【文献】特開平１０－２４０２５０（ＪＰ，Ａ）

【文献】特開平５－３２３９６５（ＪＰ，Ａ）

【文献】特開２０１６－１８０７９５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｈ １／００－７／１２

(57)【特許請求の範囲】

【請求項1】

物体が操作面から所定の距離だけ離間する第１状態、および、前記物体が前記操作面に接触する第２状態を検出し、
前記物体が前記操作面に接近する過程において当該物体が前記第１状態となる第１時点において音の再生を開始し、前記第１時点から、当該過程において前記物体が前記第２状態となる第２時点の経過後の第３時点まで、前記音の再生を継続し、
前記第１時点から前記第２時点までの第１期間内において前記音の特徴量の時間的な変化を制御する
コンピュータにより実現される再生制御方法。

【請求項2】

前記第２時点において目標値に到達するように前記第１期間内において前記音の特徴量を変化させる
請求項１の再生制御方法。

【請求項3】

前記第２時点から前記第３時点までの第２期間内において前記音の特徴量を前記目標値に維持する
請求項２の再生制御方法。

【請求項4】

前記第１期間内において、前記物体の位置に関するパラメータに応じて前記音の特徴量を変化させる
請求項１から請求項３の何れかの再生制御方法。

【請求項5】

前記パラメータは、前記物体が移動する速度である
請求項４の再生制御方法。

【請求項6】

前記パラメータは、前記操作面に対する前記物体の距離である
請求項４の再生制御方法。

【請求項7】

前記パラメータは、前記物体の移動の方向である
請求項４の再生制御方法。

【請求項8】

前記音の特徴量は、音高である
請求項１から請求項７の何れかの再生制御方法。

【請求項9】

前記物体が前記操作面から離間する過程において、前記物体が移動する速度に応じた速度で前記音の特徴量を変化させる
請求項１から請求項８の何れかの再生制御方法。

【請求項10】

物体が操作面から所定の距離だけ離間する第１状態、および、前記物体が前記操作面に接触する第２状態を検出する状態検出部と、
前記物体が前記操作面に接近する過程において当該物体が前記第１状態となる第１時点において音の再生を開始し、前記第１時点から、当該過程において前記物体が前記第２状態となる第２時点の経過後の第３時点まで、前記音の再生を継続し、前記第１時点から前記第２時点までの第１期間内において前記音の特徴量を変化させる再生制御部と
を具備する再生制御システム。

【請求項11】

物体が操作面から所定の距離だけ離間する第１状態、および、前記物体が前記操作面に接触する第２状態を検出する状態検出部、および、
前記物体が前記操作面に接近する過程において当該物体が前記第１状態となる第１時点において音の再生を開始し、前記第１時点から、当該過程において前記物体が前記第２状態となる第２時点の経過後の第３時点まで、前記音の再生を継続し、前記第１時点から前記第２時点までの第１期間内において前記音の特徴量を変化させる再生制御部
としてコンピュータを機能させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、音を制御する技術に関する。

【背景技術】

【0002】

例えば利用者からの指示に応じて再生される音の特徴量を変化させる各種の技術が従来から提案されている。例えば特許文献１には、利用者による押鍵に応じて再生される音の音高を、ピッチベンドホイールに対する利用者からの操作に応じて変化（ピッチベンド）させる電子楽器が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１６１６９９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、従来の構成において、利用者は、押鍵による発音の指示とは個別に、ピッチベンドホイールの操作によりピッチベンドを指示する必要がある。したがって、音の再生のために利用者が実行すべき操作の負荷が大きいという問題がある。以上の事情を考慮して、本開示のひとつの態様は、音の再生に関する利用者の指示の負荷を軽減することを目的とする。

【課題を解決するための手段】

【0005】

以上の課題を解決するために、本開示のひとつの態様に係る再生制御方法は、物体が操作面から所定の距離だけ離間する第１状態、または、前記物体が前記操作面に接触する第２状態を検出し、前記物体が前記操作面に接近する過程において当該物体が前記第１状態となる第１時点において音の再生を開始し、前記第１時点から、当該過程において前記物体が前記第２状態となる第２時点の経過後の第３時点まで、前記音の再生を継続し、前記第１時点から前記第２時点までの第１期間内において前記音の特徴量の変化を制御する。

【0006】

本開示のひとつの態様に係る再生制御方法は、物体が操作面に接触する状態において音を再生させ、前記物体が前記操作面から離間する過程において、前記物体が移動する速度に応じた速度で前記音の特徴量を変化させる。

【0007】

本開示のひとつの態様に係る再生制御システムは、物体が操作面から所定の距離だけ離間する第１状態、または、前記物体が前記操作面に接触する第２状態を検出する状態検出部と、前記物体が前記操作面に接近する過程において当該物体が前記第１状態となる第１時点において音の再生を開始し、前記第１時点から、当該過程において前記物体が前記第２状態となる第２時点の経過後の第３時点まで、前記音の再生を継続し、前記第１時点から前記第２時点までの第１期間内において前記音の特徴量の時間変化を制御する再生制御部とを具備する。

【0008】

本開示のひとつの態様に係るプログラムは、物体が操作面から所定の距離だけ離間する第１状態、または、前記物体が前記操作面に接触する第２状態を検出する状態検出部、および、前記物体が前記操作面に接近する過程において当該物体が前記第１状態となる第１時点において音の再生を開始し、前記第１時点から、当該過程において前記物体が前記第２状態となる第２時点の経過後の第３時点まで、前記音の再生を継続し、前記第１時点から前記第２時点までの第１期間内において前記音の特徴量の時間変化を制御する再生制御部、としてコンピュータを機能させる。

【図面の簡単な説明】

【0009】

【図1】再生制御システムの構成を例示するブロック図である。

【図2】検出ユニットの構成を例示する模式図である。

【図3】制御システムの機能的な構成を例示するブロック図である。

【図4】利用者の手の状態に関する説明図である。

【図5】制御処理の具体的な手順を例示するフローチャートである。

【図6】第３実施形態における手の状態に関する説明図である。

【発明を実施するための形態】

【0010】

Ａ：第１実施形態
図１は、本開示の第１実施形態に係る再生制御システム１００の構成を例示するブロック図である。再生制御システム１００は、利用者の操作に応じた音（以下「目標音」という）を再生するコンピュータシステムである。再生制御システム１００は、制御システム１と複数の検出ユニット２とを具備する。複数の検出ユニット２は、利用者による操作を検出する。制御システム１は、検出ユニット２が検出した操作に応じた目標音を再生する。制御システム１が再生する目標音は、例えば鍵盤楽器等の楽器の演奏音である。ただし、歌唱音または発話音等の音声が目標音として再生されてもよい。

【0011】

制御システム１は、制御装置１０と記憶装置１１と放音装置１３とを具備する。制御システム１は、例えばスマートフォン，タブレット端末またはパーソナルコンピュータ等の情報端末により実現される。なお、制御システム１は、単体の装置で実現されるほか、相互に別体で構成された複数の装置でも実現される。

【0012】

制御装置１０は、制御システム１の各要素を制御する単数または複数のプロセッサである。具体的には、例えばＣＰＵ（Central Processing Unit）、ＳＰＵ（Sound Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、またはＡＳＩＣ（Application Specific Integrated Circuit）等の１種類以上のプロセッサにより、制御装置１０が構成される。制御装置１０は、利用者の操作に応じた目標音の波形を表す音響信号Ｘを生成する。

【0013】

放音装置１３は、制御装置１０が生成する音響信号Ｘが表す目標音を再生する。放音装置１３は、例えばスピーカまたはヘッドホンである。なお、音響信号Ｘをデジタルからアナログに変換するＤ/Ａ変換器と、音響信号Ｘを増幅する増幅器とは、便宜的に図示が省略されている。また、図１においては、放音装置１３を制御システム１に搭載した構成を例示したが、制御システム１とは別体の放音装置１３が有線または無線により制御システム１に接続されてもよい。

【0014】

記憶装置１１は、制御装置１０が実行するプログラムと制御装置１０が使用する各種のデータとを記憶する単数または複数のメモリである。記憶装置１１は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成される。なお、制御システム１とは別体の記憶装置１１（例えばクラウドストレージ）を用意し、例えば移動体通信網またはインターネット等の通信網を介して、制御装置１０が記憶装置１１に対する書込および読出を実行してもよい。すなわち、記憶装置１１は制御システム１から省略されてもよい。

【0015】

再生制御システム１００は、相異なる音高（以下「標準音高」という）Ｐsに対応する複数の検出ユニット２を具備する。複数の検出ユニット２の各々は、当該検出ユニット２に対応する標準音高Ｐsの目標音の再生を利用者が指示するための操作子である。複数の検出ユニット２のうち所望の標準音高Ｐsに対応する検出ユニット２を利用者が操作することで、当該標準音高Ｐsの目標音が再生される。各検出ユニット２は、例えば鍵盤楽器の鍵を構成する。すなわち、複数の検出ユニット２の配列により鍵盤が構成され、再生制御システム１００は鍵盤楽器として実現される。

【0016】

図２は、任意の１個の検出ユニット２の構成を例示する模式図である。検出ユニット２は、収容体２０と第１検出器２１と第２検出器２２とを具備する。図２の収容体２０は、第１検出器２１と第２検出器２２とを収容する中空の構造体である。具体的には、収容体２０は、筐体部２０aと透光部２０bとを具備する。筐体部２０aは、上方が開口した中空箱形の構造体である。透光部２０bは、筐体部２０aの開口を閉塞する板状部材である。透光部２０bは、第１検出器２１が検出可能な波長域の光を透過させる。利用者は、透光部２０bのうち筐体部２０aとは反対側の表面（以下「操作面」という）Ｆに対して自身の手Ｈを接近および離間させ、当該操作面Ｆを手Ｈで打撃することが可能である。なお、利用者の手Ｈは「物体」の一例である。

【0017】

第１検出器２１は、利用者の手Ｈの状態を検出する光学センサである。第１検出器２１は、筐体部２０aの底面における中点の近傍に設置される。具体的には、被写体と受光面との距離を測定する測距センサが第１検出器２１として利用される。例えば、第１検出器２１は、透光部２０bを透過する手Ｈからの反射光を受光することで、操作面Ｆに垂直な方向における手Ｈの位置（具体的には受光面から手Ｈまでの距離）を時系列に表す検出信号Ｑ1を生成する。検出信号Ｑ1は、有線通信または無線通信により制御システム１に送信される。なお、第１検出器２１が検出する光は可視光に限定されない。例えば赤外光等の非可視光を第１検出器２１が受光してもよい。

【0018】

第２検出器２２は、操作面Ｆに対する手Ｈの接触を検出するためのセンサである。例えば周囲の音を収音する収音装置が第２検出器２２として利用される。第２検出器２２は、利用者の手Ｈが操作面Ｆを打撃したときに発生する打撃音を収音する。第２検出器２２は、打撃音を含む周囲の音を表す検出信号Ｑ2を生成する。検出信号Ｑ2は、有線通信または無線通信により制御システム１に送信される。なお、第２検出器２２を収容体２０の外側に設置してもよい。

【0019】

図３は、制御システム１の機能的な構成を例示するブロック図である。制御システム１の制御装置１０は、記憶装置１１に記憶されたプログラムを実行することで複数の機能（状態検出部３０および再生制御部３１）を実現する。

【0020】

状態検出部３０は、複数の検出ユニット２の各々による検出の結果（検出信号Ｑ1および検出信号Ｑ2）に応じて利用者の手Ｈの状態を検出する。具体的には、状態検出部３０は、第１状態または第２状態を手Ｈの状態として検出する。図２に例示される通り、第１状態は、１個の検出ユニット２における操作面Ｆから手Ｈが所定の距離（以下「基準値」という）Ｄrefだけ離間する状態である。第２状態は、手Ｈが操作面Ｆに接触する状態である。

【0021】

図４は、手Ｈの状態に関する説明図である。状態検出部３０は、第１検出器２１が生成する検出信号Ｑ1を解析することで、手Ｈが第１状態にあることを検出する。具体的には、状態検出部３０は、検出信号Ｑ1を解析することで操作面Ｆと手Ｈとの距離Ｄを算定する。距離Ｄの算定は所定の周期で反復される。すなわち、距離Ｄの時系列が生成される。距離Ｄの算定には公知の技術が任意に採用される。図４には、距離Ｄの時間的な変化が図示されている。状態検出部３０は、操作面Ｆと手Ｈとの距離Ｄが基準値Ｄrefに一致した場合に、手Ｈが第１状態にあると判定する。なお、基準値Ｄrefを含む所定の許容範囲内に距離Ｄが含まれる場合に、手Ｈが第１状態にあると状態検出部３０が判定してもよい。なお、基準値Ｄrefは、事前に設定された固定値である。ただし、利用者からの指示に応じて基準値Ｄrefが変更されてもよい。

【0022】

また、状態検出部３０は、第２検出器２２が生成する検出信号Ｑ2を解析することで、手Ｈが第２状態にあることを検出する。具体的には、状態検出部３０は、検出信号Ｑ2が表す音の音量Ｖを算定する。音量Ｖの算定は所定の周期で反復される。すなわち、音量Ｖの時系列が生成される。音量Ｖの算定には公知の技術が任意に採用される。図４には、音量Ｖの時間的な変化が図示されている。操作面Ｆの打撃により打撃音が発生することで音量Ｖは急峻に増加する。状態検出部３０は、音量Ｖが所定の数値（以下「基準値」という）Ｖrefを上回る場合（すなわち打撃音が収音された場合）に、手Ｈが第２状態にあると判定する。なお、基準値Ｖrefは、事前に設定された固定値である。ただし、利用者からの指示に応じて基準値Ｖrefが変更されてもよい。

【0023】

利用者は、複数の検出ユニット２のうち所望の標準音高Ｐsに対応する１個の検出ユニット２の操作面Ｆに手Ｈを接近させることで、当該標準音高Ｐsの目標音の再生を指示することが可能である。利用者の手Ｈは、１個の検出ユニット２の操作面Ｆに接近する一連の過程において順次に第１状態および第２状態となる。具体的には、操作面Ｆに手Ｈが接近する過程の特定の時点（以下「第１時点」という）ｔ1において当該手Ｈは第１状態となり、第１時点ｔ1の経過後の時点（以下「第２時点」という）ｔ2において手Ｈは第２状態となる。

【0024】

第１時点ｔ1と第２時点ｔ2とは時間軸上で間隔をあけて前後する。図４には、第２時点ｔ2の経過後の時点（以下「第３時点」という）ｔ3が図示されている。第３時点ｔ3は、第２時点ｔ2から所定の時間長が経過した時点である。また、図４には、第１期間Ｔ1と第２期間Ｔ2とが図示されている。第１期間Ｔ1は、第１時点ｔ1から第２時点ｔ2までの期間であり、第２期間Ｔ2は、第２時点ｔ2から第３時点ｔ3までの期間である。第１期間Ｔ1の時間長（第１時点ｔ1と第２時点ｔ2との間隔）は、利用者が手Ｈを移動させる速度に応じて変化する。また、第２期間Ｔ2の時間長（第２時点ｔ2と第３時点ｔ3との間隔）は、例えば利用者からの指示に応じて変更されてもよい。

【0025】

図３の再生制御部３１は、各検出ユニット２の操作面Ｆに対する手Ｈの状態に応じて、当該検出ユニット２に対応する目標音を放音装置１３に再生させる。複数の検出ユニット２のうち利用者の手Ｈが接近する検出ユニット２に対応する標準音高Ｐsの目標音が再生される。具体的には、再生制御部３１は、目標音を表す音響信号Ｘを生成する。例えば、記憶装置１１には、相異なる標準音高Ｐsの音の波形を表す複数の波形データが記憶される。再生制御部３１は、複数の検出ユニット２のうち利用者の手Ｈが接近する検出ユニット２に対応する標準音高Ｐsの波形データを記憶装置１１から読出し、当該波形データを加工することで音響信号Ｘを生成する。音響信号Ｘが放音装置１３に供給されることで目標音が再生される。

【0026】

図４に例示される通り、複数の検出ユニット２の何れかの操作面Ｆに利用者の手Ｈが接近する場合に、第１時点ｔ1において目標音の再生が開始され、かつ、第１時点ｔ1から第２時点ｔ2の経過後の第３時点ｔ3まで目標音の再生が継続されるように、再生制御部３１は音響信号Ｘを生成する。すなわち、操作面Ｆに対する手Ｈの接触前の第１時点ｔ1から接触後の第３時点ｔ3まで目標音の発音が継続される。

【0027】

再生制御部３１は、第１時点ｔ1から第２時点ｔ2までの第１期間Ｔ1内において、目標音の音高Ｐを経時的に変化させる。再生制御部３１は、第１期間Ｔ1内において音高Ｐの時間変化（すなわち時間軸に対する音高Ｐの変化の軌跡）を制御する。具体的には、再生制御部３１は、第１期間Ｔ1内において目標音の音高Ｐを第１音高Ｐ1から標準音高Ｐsまで直線的または曲線的に変化させる。第１音高Ｐ1は、標準音高Ｐsに対して所定値だけ低い音高である。したがって、第１音高Ｐ1は検出ユニット２毎に相違する。具体的には、再生制御部３１は、目標音の音高Ｐが、第１時点ｔ1において第１音高Ｐ1となり、かつ、第２時点ｔ2において標準音高Ｐsに到達するように、第１期間Ｔ1の全体にわたり目標音の音高Ｐを変化させる。第１期間Ｔ1における音高Ｐの変化は、目標音のピッチベンドに相当する。なお、音高Ｐは、目標音の「特徴量」の一例である。また、標準音高Ｐsは「目標値」の一例である。

【0028】

以上に説明した音高Ｐの変化を実現するために、再生制御部３１は、第１期間Ｔ1内において利用者の手Ｈが移動する速度（以下「移動速度」という）に応じた速度で目標音の音高Ｐを変化させる。移動速度は、状態検出部３０が算定する距離Ｄの単位時間毎の変化量である。状態検出部３０は、画像信号Ｑ1を解析することで移動速度を算定する。具体的には、再生制御部３１は、移動速度が大きいほど音高Ｐの変化の速度が大きくなるように、第１期間Ｔ1内において音高Ｐを変化させる。以上の構成によれば、利用者は、手Ｈの移動速度に応じて、第１期間Ｔ1内における音高Ｐの変化の速度を調整することが可能である。第１実施形態においては、第１音高Ｐ1と標準音高Ｐsとは事前に決定されている。再生制御部３１は、第１期間Ｔ1内における第１音高Ｐ1から標準音高Ｐsまでの音高Ｐの軌跡（変化速度）を、利用者の手Ｈの移動速度に応じて制御する。なお、第１期間Ｔ1内における移動速度と音高Ｐの変化速度との関係を、利用者からの指示に応じて変更できる構成も想定される。

【0029】

また、再生制御部３１は、第２時点ｔ2から第３時点ｔ3までの第２期間Ｔ2内において、目標音の音高Ｐを標準音高Ｐsに維持する。具体的には、第２期間Ｔ2の全体にわたり目標音の音高Ｐは標準音高Ｐsに固定される。

【0030】

図５は、制御装置１０が実行する処理（以下「制御処理」という）Ｓaの具体的な手順を例示するフローチャートである。例えば、複数の検出ユニット２の各々について制御処理Ｓaが並列または順次に実行される。利用者の手Ｈが操作面Ｆに対して接近および離間する周期よりも充分に短い周期で制御処理Ｓaは反復される。

【0031】

制御処理Ｓaが開始されると、状態検出部３０は、検出ユニット２から供給される検出信号Ｑ1および検出信号Ｑ2を解析することで利用者の手Ｈの状態を検出する（Ｓa1）。再生制御部３１は、手Ｈが第１状態にあることを状態検出部３０が検出したか否かを判定する（Ｓa2）。第１状態が検出された場合（Ｓa2：YES）、再生制御部３１は、当該検出ユニット２の標準音高Ｐsに対応する第１音高Ｐ1の目標音の再生を放音装置１３に開始させる（Ｓa3）。第１状態が検出されない場合（Ｓa2：NO）、再生制御部３１は制御処理Ｓaを終了する。

【0032】

目標音の再生が開始されると、再生制御部３１は、目標音の音高Ｐを標準音高Ｐsに向けて変化させる（Ｓa4）。具体的には、制御装置１０は、利用者の手Ｈの移動速度に応じた変化量だけ目標音の音高Ｐを標準音高Ｐsに近付ける。再生制御部３１は、手Ｈが第２状態にあることを状態検出部３０が検出したか否かを判定する（Ｓa5）。第２状態が検出されない場合（Ｓa5：NO）、再生制御部３１は、処理をステップＳa4に移行する。すなわち、第２状態が検出される第２時点ｔ2までの第１期間Ｔ1内において、目標音の音高Ｐが標準音高Ｐsに向けて経時的に変化する。以上の処理により、第２状態が検出される第２時点ｔ2において目標音の音高Ｐは標準音高Ｐsに到達する。

【0033】

第２状態が検出された場合（Ｓa5：YES）、再生制御部３１は、目標音の音高Ｐを標準音高Ｐsに維持する（Ｓa6）。再生制御部３１は、第３時点ｔ3が到来したか否かを判定する（Ｓa7）。目標音の音高Ｐは、第３時点ｔ3が到来するまで標準音高Ｐsに維持される（Ｓa7：NO）。すなわち、第２期間Ｔ2内において目標音の音高Ｐは標準音高Ｐsに維持される。第３時点ｔ3が到来すると（Ｓa7：YES）、再生制御部３１は目標音の再生を停止する（Ｓa8）。

【0034】

以上に説明した通り、第１実施形態においては、手Ｈが第１状態となる第１時点ｔ1から第２状態となる第２時点ｔ2の経過後の第３時点ｔ3まで目標音の再生が継続される一方、第１時点ｔ1から第２時点ｔ2までの第１期間Ｔ1内においては目標音の音高Ｐが変化する。したがって、利用者が手Ｈを操作面Ｆに接近させる簡便な操作により、第１期間Ｔ1内において目標音の音高Ｐを変化させることが可能である。すなわち、目標音の再生と音高Ｐの変化とを利用者が個別に指示する必要がある構成と比較して、利用者の負荷を軽減できる。

【0035】

また、第１実施形態においては、利用者の手Ｈが操作面Ｆに接触する第２状態となる第２時点ｔ2において目標音の音高Ｐが標準音高Ｐsに到達するから、音高Ｐが標準音高Ｐsに到達する時点を利用者が指示し易いという利点がある。また、第２時点ｔ2から第３時点ｔ3までの第２期間Ｔ2内においては目標音の音高Ｐが標準音高Ｐsに維持されるから、標準音高Ｐsの目標音の再生を利用者が簡便に指示できるという利点もある。

【0036】

Ｂ：第２実施形態
第２実施形態を以下に説明する。なお、以下に例示する各形態において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。

【0037】

第２実施形態の再生制御システム１００は、操作面Ｆに接触した手Ｈが当該操作面Ｆから離間し始めた状態（以下「第３状態」という）を検出する。具体的には、状態検出部３０は、操作面Ｆと手Ｈとの距離Ｄがゼロから増加し始める状態を第３状態として検出する。

【0038】

第１実施形態においては、第２時点ｔ2から所定の時間長が経過した時点を第３時点ｔ3として目標音の再生を停止した。第２実施形態においては、状態検出部３０が第３状態を検出した時点を第３時点ｔ3として目標音の再生を停止する。すなわち、利用者の手Ｈが操作面Ｆに接触している期間内には、標準音高Ｐsの目標音の再生が維持され、操作面Ｆから手Ｈが離間した場合に目標音の再生が停止される。

【0039】

第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態においては、操作面Ｆから手Ｈを離間させることで利用者が目標音の再生の停止を簡便に指示できるという利点がある。

【0040】

Ｃ：第３実施形態
図６は、第３実施形態における目標音の再生の説明図である。第３実施形態の状態検出部３０は、第２実施形態と同様に、操作面Ｆから手Ｈが離間する第３状態を検出する。

【0041】

図６には、第３状態が検出された時点ｔ3の経過後の時点（以下「第４時点」という）ｔ4が図示されている。第４時点ｔ4は、第３時点ｔ3から所定の時間長が経過した時点である。図６の第３期間Ｔ3は、第３時点ｔ3から第４時点ｔ4までの期間である。第３期間Ｔ3は、手Ｈが操作面Ｆから離間する過程（距離Ｄが増加する過程）に相当する。なお、第３期間Ｔ3の時間長（第３時点ｔ3と第４時点ｔ4との間隔）は、例えば利用者からの指示に応じて変更されてもよい。

【0042】

第３実施形態の再生制御部３１は、第１実施形態と同様に、第１時点ｔ1において再生が開始された目標音の音高Ｐを第２期間Ｔ2内において標準音高Ｐsに維持するほか、当該目標音の音高Ｐを第３期間Ｔ3内において経時的に変化させる。具体的には、再生制御部３１は、第３期間Ｔ3内において目標音の音高Ｐを標準音高Ｐsから第２音高Ｐ2まで直線的または曲線的に変化させる。第２音高Ｐ2は、標準音高Ｐsに対して所定値だけ低い音高である。したがって、第２音高Ｐ2は検出ユニット２毎に相違する。具体的には、再生制御部３１は、第３時点ｔ3において標準音高Ｐsにある目標音の音高Ｐが、第４時点ｔ4において第２音高Ｐ2に到達するように、第３期間Ｔ3の全体にわたり目標音の音高Ｐを変化させる。なお、第１音高Ｐ1と第２音高Ｐ2との異同および高低は任意である。

【0043】

以上に説明した第３期間Ｔ3内の音高Ｐの変化を実現するために、再生制御部３１は、第３期間Ｔ3内において手Ｈの移動速度に応じた速度で目標音の音高Ｐを変化させる。具体的には、再生制御部３１は、移動速度が大きいほど音高Ｐの変化の速度が大きくなるように、第３期間Ｔ3内において音高Ｐを変化させる。以上の構成によれば、利用者は、手Ｈの移動速度に応じて、第３期間Ｔ3内における音高Ｐの変化の速度を調整することが可能である。なお、第３期間Ｔ3内における移動速度と音高Ｐの変化速度との関係を、利用者からの指示に応じて変更できる構成も想定される。

【0044】

Ｄ：変形例
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。

【0045】

（１）前述の各形態においては、測距センサを第１検出器２１として例示したが、第１検出器２１の種類は以上の例示に限定されない。例えば、利用者の手Ｈを撮像する画像センサを第１検出器２１として利用してもよい。状態検出部３０は、第１検出器２１が撮像した手Ｈの画像を解析することで距離Ｄを算定し、当該距離Ｄに応じて第１状態を検出する。また、赤外光を出射および受光する赤外線センサを第１検出器２１として利用してもよい。状態検出部３０は、手Ｈの表面で反射した赤外光の受光強度から距離Ｄを算定する。また、第１検出器２１が設置される位置は任意である。例えば、第１検出器２１が手Ｈを側方から撮像してもよい。

【0046】

（２）前述の各形態においては、打撃音を含む音を表す検出信号Ｑ2を解析することで第２状態を検出したが、操作面Ｆに対する手Ｈの接触を検出するための構成および方法は以上の例示に限定されない。例えば、第１検出器２１が生成する検出信号Ｑ1を解析することで操作面Ｆに対する手Ｈの接触（すなわち第２状態）を検出してもよい。例えば、状態検出部３０は、検出信号Ｑ1から特定される距離Ｄがゼロに到達した場合に、利用者の手Ｈが第２状態にあると判定する。第２状態の検出に検出信号Ｑ1を利用する構成では、第２検出器２２は省略される。また、操作面Ｆ（透光部２０b）に対する手Ｈの接触を検出する接触センサ（例えば静電容量式センサ）、操作面Ｆ（透光部２０b）の振動を検出する振動センサ、または、操作面Ｆに手Ｈから作用する圧力を検出する圧力センサを、第２検出器２２として利用してもよい。

【0047】

（３）前述の各形態においては、利用者の手Ｈが操作面Ｆに接触する構成を例示したが、操作面Ｆに接触する物体は手Ｈに限定されない。例えば、打楽器用のスティック等の打撃部材により利用者が操作面Ｆを打撃してもよい。以上の例示から理解される通り、操作面Ｆに接触する物体は、利用者の身体の一部（典型的には手Ｈ）と、利用者が操作する打撃部材との双方が包含される。なお、打撃部材が操作面Ｆを打撃する構成においては、打撃部材に第１検出器２１または第２検出器２２を搭載してもよい。

【0048】

（４）検出ユニット２の収容体２０の構成は任意である。また、第１検出器２１および第２検出器２２が収容体２０に収容される構造は必須ではない。すなわち、利用者の手Ｈ等の物体が接触する操作面Ｆを検出ユニット２が含む構成であれば、収容体２０の具体的な構造および有無は不問である。

【0049】

（５）前述の各形態においては、第１期間Ｔ1の全体にわたり目標音の音高Ｐを変化させたが、第１期間Ｔ1のうち一部の期間において目標音の音高Ｐを変化させ、残余の期間においては音高Ｐを維持してもよい。すなわち、目標音の音高Ｐは、第２時点ｔ2の到来前に標準音高Ｐsに到達してもよい。以上の説明から理解される通り、「第１期間Ｔ1内において音高Ｐを変化させる」とは、第１期間Ｔ1の一部または全部において音高Ｐを変化させることを意味する。同様に、「第３期間Ｔ3内において音高Ｐを変化させる」とは、第３期間Ｔ3の一部または全部において音高Ｐを変化させることを意味する。

【0050】

（６）前述の各形態においては、利用者の手Ｈの移動速度に応じた速度で目標音の音高Ｐを変化させたが、利用者の手Ｈの移動に音高Ｐを連動させる方法は以上の例示に限定されない。例えば、操作面Ｆに対する手Ｈの距離Ｄに応じて目標音の音高Ｐを変化させてもよい。再生制御部３１は、例えば、距離Ｄが減少するほど音高Ｐが上昇し、かつ、距離Ｄがゼロとなる時点で音高Ｐが標準音高Ｐsに到達するように、目標音の音高Ｐを時間的に変化させる。第１期間Ｔ1内において、距離Ｄが増加するほど音高Ｐを低下させてもよい。

【0051】

また、再生制御部３１は、利用者の手Ｈが移動する方向（以下「移動方向」という）に応じて目標音の音高Ｐを変化させてもよい。状態検出部３０は、画像信号Ｑ1を解析することで、操作面Ｆに対する手Ｈの移動方向を特定する。再生制御部３１は、時間軸に対する音高Ｐの変化の関係（すなわち時間の経過に対する音高Ｐの軌跡）を手Ｈの移動方向に応じて制御する。具体的には、操作面Ｆに対する移動方向の角度が第１範囲内にある場合、再生制御部３１は、時間の経過に対して第１軌跡に沿うように音高Ｐを変化させる。他方、操作面Ｆに対する移動方向の角度が第２範囲内にある場合、再生制御部３１は、時間の経過に対して第１軌跡とは異なる第２軌跡に沿うように音高Ｐを変化させる。例えば、移動方向と操作面Ｆとの角度が所定の閾値を上回る場合、再生制御部３１は、時間の経過に対して急峻に音高Ｐを変化させる（第１軌跡）。他方、移動方向と操作面Ｆとの角度が閾値を下回る場合、再生制御部３１は、時間の経過に対して緩やかに音高Ｐを変化させる（第２軌跡）。

【0052】

以上の例示から理解される通り、再生制御部３１は、利用者の手Ｈの位置に関するパラメータに応じて目標音の音高Ｐを変化させる。前述の移動速度、距離Ｄおよび移動方向は、手Ｈの位置に関するパラメータの具体例である。なお、利用者の手Ｈの位置自体もパラメータとして利用される。例えば、操作面Ｆに垂直な方向における手Ｈの位置（例えば距離Ｄ）のほか、操作面Ｆに平行な平面内における手Ｈの位置も、手Ｈの位置に関するパラメータには包含される。手Ｈの位置に関するパラメータは、前述の各形態における例示の通り、例えば画像信号Ｑ1の解析により特定される。

【0053】

（７）前述の各形態においては、第１音高Ｐ1が標準音高Ｐsを下回る構成を例示したが、第１音高Ｐ1が標準音高Ｐsを上回る構成も想定される。すなわち、第１期間Ｔ1内において、目標音の音高Ｐは、第１音高Ｐ1から標準音高Ｐsまで経時的に低下する。また、第１音高Ｐ1は、利用者からの指示に応じて設定されてもよい。

【0054】

第３実施形態においては第２音高Ｐ2が標準音高Ｐsを下回る構成を例示したが、第２音高Ｐ2が標準音高Ｐsを上回る構成も想定される。すなわち、第３期間Ｔ3内において、目標音の音高Ｐは、第２音高Ｐ2から標準音高Ｐsまで経時的に上昇する。また、第２音高Ｐ2は、利用者からの指示に応じて設定されてもよい。

【0055】

（８）前述の各形態においては、目標音の音高Ｐを手Ｈの状態に応じて制御したが、再生制御部３１が制御する目標音の特徴量は音高Ｐに限定されない。例えば、目標音の音量を利用者の手Ｈの状態に応じて制御してもよい。また、目標音の音色を利用者の手Ｈの状態に応じて制御してもよい。例えば、再生制御部３１は、第１音色の音を表す第１波形データと第２音色の音を表す第２波形データとを混合することで、第１音色と第２音色との中間的な音色の目標音を表す音響信号Ｘを生成する。再生制御部３１は、第１波形データと第２波形データとの混合比を、前述の各形態における音高Ｐと同様に、利用者の手Ｈの状態に応じて変化させる。以上の構成により、例えば第１期間Ｔ1内または第３期間Ｔ3内において、目標音の音色を第１音色および第２音色の一方から他方に近付けることが可能である。

【0056】

（９）前述の各形態においては、利用者の手Ｈが操作面Ｆに実際に接触する構成を例示したが、例えば触覚フィードバックを利用した触覚技術（ハプティクス）を利用して仮想的な操作面Ｆを利用者が接触する構成も採用される。利用者は、仮想空間内に存在する擬似的な手を操作することで、当該仮想空間内に設置された操作面Ｆに接触する。仮想空間内の操作面Ｆに接触したときに振動する振動体を利用することで、利用者は操作面Ｆに実際に接触しているように知覚する。以上の説明から理解される通り、操作面Ｆは仮想空間内における仮想的な面でもよい。同様に、操作面Ｆに接触する物体（例えば手Ｈ）は、仮想空間内における仮想的な物体でもよい。

【0057】

（１０）以上に例示した再生制御システム１００の機能（特に制御システム１の機能）は、前述の通り、制御装置１０を構成する単数または複数のプロセッサと記憶装置１１に記憶されたプログラムとの協働により実現される。本開示に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記憶装置が、前述の非一過性の記録媒体に相当する。

【0058】

Ｅ：付記
以上に例示した形態から、例えば以下の構成が把握される。

【0059】

本開示のひとつの態様（態様１）に係る再生制御方法は、物体が操作面から所定の距離だけ離間する第１状態、または、前記物体が前記操作面に接触する第２状態を検出し、前記物体が前記操作面に接近する過程において当該物体が前記第１状態となる第１時点において音の再生を開始し、前記第１時点から、当該過程において前記物体が前記第２状態となる第２時点の経過後の第３時点まで、前記音の再生を継続し、前記第１時点から前記第２時点までの第１期間内において前記音の特徴量の時間変化を制御する。

【0060】

以上の態様によれば、利用者が物体を操作面に接近させる簡便な操作により、物体が第１状態となる第１時点から第２状態となる第２時点の経過後の第３時点まで音の再生が継続され、第１時点から第２時点までの第１期間内において当該音の特徴量が変化する。したがって、音の再生と特徴量の変化とを利用者が個別に指示する必要がある構成と比較して、利用者の負荷を軽減できる。なお、音の特徴量は、例えば音高、音量または音色である。

【0061】

態様１の具体例（態様２）において、前記第２時点において目標値に到達するように前記第１期間内において前記音の特徴量を変化させる。以上の態様によれば、物体が操作面に接触する第２状態となる第２時点において音の特徴量が目標値に到達するから、音の特徴量が目標値に到達する時点を利用者が指示し易いという利点がある。

【0062】

態様２の具体例（態様３）において、前記第２時点から前記第３時点までの第２期間内において前記音の特徴量を前記目標値に維持する。以上の態様によれば、第２時点から第３時点までの第２期間内においては音の特徴量が目標値に維持されるから、特徴量が目標値である音の再生を利用者が簡便に指示できるという利点がある。

【0063】

態様１から態様３の何れかの具体例（態様４）において、前記第１期間内において、前記物体の位置に関するパラメータに応じて前記音の特徴量を変化させる。以上の態様によれば、利用者は、物体の位置に応じて、第１期間内における特徴量の変化の軌跡を調整することが可能である。物体の位置に関するパラメータとしては、例えば、前記物体が移動する速度（態様５）、前記操作面に対する前記物体の距離（態様６）、または、前記物体の移動の方向（態様７）が例示される。

【0064】

態様１から態様７の何れかの具体例（態様８）において、前記音の特徴量は、音高である。以上の構成によれば、音の再生が開始される当初（第１期間内）における音高の変化（ピッチベンド）を制御できる。

【0065】

本発明のひとつの態様（態様９）に係る再生制御方法は、物体が操作面に接触する状態において音を再生させ、前記物体が前記操作面から離間する過程において、前記物体が移動する速度に応じた速度で前記音の特徴量を変化させる。

【0066】

本発明のひとつの態様（態様１０）に係る再生制御システムは、物体が操作面から所定の距離だけ離間する第１状態、または、前記物体が前記操作面に接触する第２状態を検出する状態検出部と、前記物体が前記操作面に接近する過程において当該物体が前記第１状態となる第１時点において音の再生を開始し、前記第１時点から、当該過程において前記物体が前記第２状態となる第２時点の経過後の第３時点まで、前記音の再生を継続し、前記第１時点から前記第２時点までの第１期間内において前記音の特徴量の時間変化を制御する再生制御部とを具備する。

【0067】

本発明のひとつの態様（態様１１）に係るプログラムは、物体が操作面から所定の距離だけ離間する第１状態、または、前記物体が前記操作面に接触する第２状態を検出する状態検出部、および、前記物体が前記操作面に接近する過程において当該物体が前記第１状態となる第１時点において音の再生を開始し、前記第１時点から、当該過程において前記物体が前記第２状態となる第２時点の経過後の第３時点まで、前記音の再生を継続し、前記第１時点から前記第２時点までの第１期間内において前記音の特徴量の時間変化を制御する再生制御部としてコンピュータを機能させる。

【符号の説明】

【0068】

１００…再生制御システム、１…制御システム、１０…制御装置、１１…記憶装置、１３…放音装置、２…検出ユニット、２０…収容体、２０a…筐体部、２０b…透光部、２１…第１検出器、２２…第２検出器、３０…状態検出部、３１…再生制御部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】