知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6819236
(24)【登録日】2021年1月6日
(45)【発行日】2021年1月27日
(54)【発明の名称】音処理装置、音処理方法、及びプログラム
(51)【国際特許分類】
H04R 3/00 20060101AFI20210114BHJP
G10L 25/51 20130101ALI20210114BHJP
G10K 15/10 20060101ALI20210114BHJP
G10K 15/12 20060101ALI20210114BHJP
H04S 7/00 20060101ALI20210114BHJP
【ＦＩ】
H04R3/00
G10L25/51 300
G10K15/10
G10K15/12
H04S7/00 350
H04R3/00 320
【請求項の数】12
【全頁数】30
(21)【出願番号】特願2016-225546(P2016-225546)
(22)【出願日】2016年11月18日
(65)【公開番号】特開2018-82411(P2018-82411A)
(43)【公開日】2018年5月24日
【審査請求日】2019年9月20日
(73)【特許権者】
【識別番号】000004075
【氏名又は名称】ヤマハ株式会社
(74)【代理人】
【識別番号】110000154
【氏名又は名称】特許業務法人はるか国際特許事務所
(72)【発明者】
【氏名】湯山 雄太
(72)【発明者】
【氏名】加納 真弥
(72)【発明者】
【氏名】青木 良太郎
(72)【発明者】
【氏名】平井 友明
【審査官】
堀 洋介
(56)【参考文献】
【文献】
特開平０９−０５０２８４（ＪＰ，Ａ）
【文献】
特開２０１４−１９７０８２（ＪＰ，Ａ）
【文献】
特開２０１４−０６６９２２（ＪＰ，Ａ）
(58)【調査した分野】（Int.Cl.，ＤＢ名）
Ｈ０４Ｒ ３／００
Ｇ１０Ｋ １５／００−１５／１２
Ｇ１０Ｌ ２５／５１
Ｈ０４Ｓ ７／００
(57)【特許請求の範囲】
【請求項1】
ユーザの演奏音の入力を受け付ける入力手段と、
前記演奏音と、コンテンツデータに基づいて得られる音であるコンテンツ音との特性を合わせるために、前記演奏音と前記コンテンツ音との少なくとも一方を調整する調整手段と、
前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成手段と、
前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御手段と、
を含み、
前記調整手段は、前記コンテンツ音に含まれる間接音成分を除去し、
前記生成手段は、前記演奏音と、前記調整手段によって間接音成分が除去された前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する、
ことを特徴とする音処理装置。
前記演奏音と、コンテンツデータに基づいて得られる音であるコンテンツ音との特性を合わせるために、前記演奏音と前記コンテンツ音との少なくとも一方を調整する調整手段と、
前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成手段と、
前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御手段と、
を含み、
前記調整手段は、前記コンテンツ音に含まれる間接音成分を除去し、
前記生成手段は、前記演奏音と、前記調整手段によって間接音成分が除去された前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する、
ことを特徴とする音処理装置。
【請求項2】
ユーザの演奏音の入力を受け付ける入力手段と、
前記演奏音と、コンテンツデータに基づいて得られる音であるコンテンツ音との特性を合わせるために、前記演奏音と前記コンテンツ音との少なくとも一方を調整する調整手段と、
前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成手段と、
前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御手段と、
を含む音処理装置であって、
さらに、前記コンテンツ音に含まれる間接音成分の量を解析する解析手段を含み、
前記調整手段は、前記演奏音に対応する間接音成分を前記演奏音に対して付加するものであり、前記演奏音に対して付加する間接音成分の量を前記解析手段の解析結果に基づいて設定し、
前記生成手段は、前記調整手段によって間接音成分が付加された前記演奏音と、前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する、
ことを特徴とする音処理装置。
前記演奏音と、コンテンツデータに基づいて得られる音であるコンテンツ音との特性を合わせるために、前記演奏音と前記コンテンツ音との少なくとも一方を調整する調整手段と、
前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成手段と、
前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御手段と、
を含む音処理装置であって、
さらに、前記コンテンツ音に含まれる間接音成分の量を解析する解析手段を含み、
前記調整手段は、前記演奏音に対応する間接音成分を前記演奏音に対して付加するものであり、前記演奏音に対して付加する間接音成分の量を前記解析手段の解析結果に基づいて設定し、
前記生成手段は、前記調整手段によって間接音成分が付加された前記演奏音と、前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する、
ことを特徴とする音処理装置。
【請求項3】
請求項１に記載の音処理装置において、
前記調整手段は、前記演奏音の入力に応じて、前記コンテンツ音に含まれる間接音成分を除去する、
ことを特徴とする音処理装置。
前記調整手段は、前記演奏音の入力に応じて、前記コンテンツ音に含まれる間接音成分を除去する、
ことを特徴とする音処理装置。
【請求項4】
請求項２に記載の音処理装置において、
前記演奏音に含まれる楽器音の種類を特定する手段を含み、
前記調整手段は、前記演奏音に含まれる楽器音の種類に基づいて、前記演奏音に対して付加する間接音成分を設定する、
ことを特徴とする音処理装置。
前記演奏音に含まれる楽器音の種類を特定する手段を含み、
前記調整手段は、前記演奏音に含まれる楽器音の種類に基づいて、前記演奏音に対して付加する間接音成分を設定する、
ことを特徴とする音処理装置。
【請求項5】
請求項２又は４に記載の音処理装置において、
前記演奏音に歌唱音が含まれるか否かを判定する手段を含み、
前記調整手段は、前記演奏音に前記歌唱音が含まれるか否かの判定結果に基づいて、前記演奏音に対して付加する間接音成分を設定する、
ことを特徴とする音処理装置。
前記演奏音に歌唱音が含まれるか否かを判定する手段を含み、
前記調整手段は、前記演奏音に前記歌唱音が含まれるか否かの判定結果に基づいて、前記演奏音に対して付加する間接音成分を設定する、
ことを特徴とする音処理装置。
【請求項6】
請求項１乃至５のいずれかに記載の音処理装置において、
前記演奏音に含まれる楽器音の音色を解析する第１の音色解析手段と、
前記コンテンツ音に含まれる楽器音の音色を解析する第２の音色解析手段と、を含み、
前記調整手段は、前記第１の音色解析手段の解析結果と、前記第２の音色解析手段の解析結果との比較に基づいて、前記演奏音と前記コンテンツ音との少なくとも一方の音色を調整する、
ことを特徴とする音処理装置。
前記演奏音に含まれる楽器音の音色を解析する第１の音色解析手段と、
前記コンテンツ音に含まれる楽器音の音色を解析する第２の音色解析手段と、を含み、
前記調整手段は、前記第１の音色解析手段の解析結果と、前記第２の音色解析手段の解析結果との比較に基づいて、前記演奏音と前記コンテンツ音との少なくとも一方の音色を調整する、
ことを特徴とする音処理装置。
【請求項7】
請求項６に記載の音処理装置において、
前記演奏音に含まれる楽器音の種類を特定する手段を含み、
前記第２の音色解析手段は、前記コンテンツ音に複数種類の楽器音が含まれる場合に、当該複数種類の楽器音のうちの、前記演奏音に含まれる種類の楽器音の音色を解析する、
ことを特徴とする音処理装置。
前記演奏音に含まれる楽器音の種類を特定する手段を含み、
前記第２の音色解析手段は、前記コンテンツ音に複数種類の楽器音が含まれる場合に、当該複数種類の楽器音のうちの、前記演奏音に含まれる種類の楽器音の音色を解析する、
ことを特徴とする音処理装置。
【請求項8】
請求項１乃至５のいずれかに記載の音処理装置において、
前記演奏音に含まれる歌唱音の音色を解析する第１の音色解析手段と、
前記コンテンツ音に含まれる歌唱音の音色を解析する第２の音色解析手段と、を含み、
前記調整手段は、前記第１の音色解析手段の解析結果と、前記第２の音色解析手段の解析結果との比較に基づいて、前記演奏音と前記コンテンツ音との少なくとも一方の音色を調整する、
ことを特徴とする音処理装置。
前記演奏音に含まれる歌唱音の音色を解析する第１の音色解析手段と、
前記コンテンツ音に含まれる歌唱音の音色を解析する第２の音色解析手段と、を含み、
前記調整手段は、前記第１の音色解析手段の解析結果と、前記第２の音色解析手段の解析結果との比較に基づいて、前記演奏音と前記コンテンツ音との少なくとも一方の音色を調整する、
ことを特徴とする音処理装置。
【請求項9】
ユーザの演奏音と、コンテンツデータに基づいて得られるコンテンツ音との特性を合わせるために、前記演奏音と前記コンテンツ音との少なくとも一方を調整する調整ステップと、
前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成ステップと、
前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御ステップと、
を含み、
前記調整ステップでは、前記コンテンツ音に含まれる間接音成分を除去し、
前記生成ステップでは、前記演奏音と、前記調整ステップにおいて間接音成分が除去された前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する、
ことを特徴とする音処理方法。
前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成ステップと、
前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御ステップと、
を含み、
前記調整ステップでは、前記コンテンツ音に含まれる間接音成分を除去し、
前記生成ステップでは、前記演奏音と、前記調整ステップにおいて間接音成分が除去された前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する、
ことを特徴とする音処理方法。
【請求項10】
ユーザの演奏音と、コンテンツデータに基づいて得られるコンテンツ音との特性を合わせるために、前記演奏音と前記コンテンツ音との少なくとも一方を調整する調整手段、
前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成手段、及び、
前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御手段、
としてコンピュータを機能させるためのプログラムであって、
前記調整手段は、前記コンテンツ音に含まれる間接音成分を除去し、
前記生成手段は、前記演奏音と、前記調整手段によって間接音成分が除去された前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する、
ことを特徴とするプログラム。
前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成手段、及び、
前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御手段、
としてコンピュータを機能させるためのプログラムであって、
前記調整手段は、前記コンテンツ音に含まれる間接音成分を除去し、
前記生成手段は、前記演奏音と、前記調整手段によって間接音成分が除去された前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する、
ことを特徴とするプログラム。
【請求項11】
ユーザの演奏音と、コンテンツデータに基づいて得られるコンテンツ音との特性を合わせるために、前記演奏音と前記コンテンツ音との少なくとも一方を調整する調整ステップと、
前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成ステップと、
前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御ステップと、
を含む音処理方法であって、
さらに、前記コンテンツ音に含まれる間接音成分の量を解析する解析ステップを含み、
前記調整ステップでは、前記演奏音に対応する間接音成分を前記演奏音に対して付加するものであり、前記演奏音に対して付加する間接音成分の量を前記解析ステップの解析結果に基づいて設定し、
前記生成ステップでは、前記調整ステップにおいて間接音成分が付加された前記演奏音と、前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する、
ことを特徴とする音処理方法。
前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成ステップと、
前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御ステップと、
を含む音処理方法であって、
さらに、前記コンテンツ音に含まれる間接音成分の量を解析する解析ステップを含み、
前記調整ステップでは、前記演奏音に対応する間接音成分を前記演奏音に対して付加するものであり、前記演奏音に対して付加する間接音成分の量を前記解析ステップの解析結果に基づいて設定し、
前記生成ステップでは、前記調整ステップにおいて間接音成分が付加された前記演奏音と、前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する、
ことを特徴とする音処理方法。
【請求項12】
ユーザの演奏音と、コンテンツデータに基づいて得られるコンテンツ音との特性を合わせるために、前記演奏音と前記コンテンツ音との少なくとも一方を調整する調整手段、
前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成手段、及び、
前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御手段、
としてコンピュータを機能させるためのプログラムであって、
さらに、前記コンテンツ音に含まれる間接音成分の量を解析する解析手段、を含み、
前記調整手段は、前記演奏音に対応する間接音成分を前記演奏音に対して付加するものであり、前記演奏音に対して付加する間接音成分の量を前記解析手段の解析結果に基づいて設定し、
前記生成手段は、前記調整手段によって間接音成分が付加された前記演奏音と、前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する、
ことを特徴とするプログラム。
前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成手段、及び、
前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御手段、
としてコンピュータを機能させるためのプログラムであって、
さらに、前記コンテンツ音に含まれる間接音成分の量を解析する解析手段、を含み、
前記調整手段は、前記演奏音に対応する間接音成分を前記演奏音に対して付加するものであり、前記演奏音に対して付加する間接音成分の量を前記解析手段の解析結果に基づいて設定し、
前記生成手段は、前記調整手段によって間接音成分が付加された前記演奏音と、前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は音処理装置、音処理方法、及びプログラムに関する。
【背景技術】
【0002】
音楽や映画等のコンテンツを楽しむための装置には、コンテンツの音響信号に対して擬似的に間接音成分（残響成分等）を付加してスピーカから放音させることによってホールの音場を再現する機能を備えたものがある（特許文献１）。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１５−５０４９３号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
例えば、ユーザによって演奏されている楽器の楽器音又はユーザの歌唱音に対して擬似的な間接音成分を付加して、音楽コンテンツとともにスピーカから放音させることができれば、ユーザは音楽コンテンツの演奏者の一員となって楽器を演奏したり、歌を歌ったりしている気分を楽しむことができるようになる。しかしながら、この場合、ユーザの楽器音（又は歌唱音）とコンテンツ音との特性が異なることによって、ユーザの楽器音（又は歌唱音）とコンテンツ音との一体感をユーザが十分に感じることができないおそれがある。例えば、ユーザの楽器音（又は歌唱音）の間接音成分の量と、コンテンツ音の間接音成分の量とが異なることによって、ユーザの楽器音（又は歌唱音）とコンテンツ音との一体感をユーザが十分に感じることができないおそれがある。
【0005】
本発明は上記課題に鑑みてなされたものであって、その目的は、ユーザの楽器音又は歌唱音とコンテンツ音との一体感を感じながら、ユーザがコンテンツに合わせて演奏を行うことが可能な音処理装置、音処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記課題を解決するために、本発明に係る音処理装置は、ユーザの演奏音の入力を受け付ける入力手段と、前記演奏音と、コンテンツデータに基づいて得られる音であるコンテンツ音との特性を合わせるために、前記演奏音と前記コンテンツ音との少なくとも一方を調整する調整手段と、前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成手段と、前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御手段と、を含む。
【0007】
また、本発明に係る音処理方法は、ユーザの演奏音と、コンテンツデータに基づいて得られるコンテンツ音との特性を合わせるために、前記演奏音と前記コンテンツ音との少なくとも一方を調整する調整ステップと、前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成ステップと、前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御ステップと、を含む。
【0008】
また、本発明に係るプログラムは、ユーザの演奏音と、コンテンツデータに基づいて得られるコンテンツ音との特性を合わせるために、前記演奏音と前記コンテンツ音との少なくとも一方を調整する調整手段、前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成手段、及び、前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御手段、としてコンピュータを機能させるためのプログラムである。また、本発明に係る情報記憶媒体は、上記プログラムを記録したコンピュータ読み取り可能な情報記憶媒体である。
【0009】
なお、本発明において、「演奏」とは音を出す行為を示し、「演奏」には、楽器を奏でる行為だけでなく、歌を歌う行為も含まれる。すなわち、「演奏音」とは楽器の演奏音だけでなく、歌唱音も含む。
【発明の効果】
【0010】
本発明によれば、ユーザの楽器音又は歌唱音とコンテンツ音との一体感を感じながら、ユーザがコンテンツに合わせて演奏を行うことが可能になる。
【図面の簡単な説明】
【0011】
【図1】本発明の実施形態に係る音処理装置を備えたシステムの構成を示す図である。
【図2】ユーザの演奏環境の一例を示す図である。
【図3】第１実施形態に係る音処理装置の機能ブロック図である。
【図4】第１実施形態に係る音処理装置で実行される処理を示すフロー図である。
【図5】間接音成分の生成方法の一例について説明するための図である。
【図6】第２実施形態に係る音処理装置の機能ブロック図である。
【図7】第２実施形態に係る音処理装置で実行される処理を示すフロー図である。
【図8】スピーカから放音される音について説明するための図である。
【図9】第３実施形態に係る音処理装置の機能ブロック図である。
【図10】第３実施形態に係る音処理装置で実行される処理を示すフロー図である。
【図11】スピーカから放音される音について説明するための図である。
【図12】第４実施形態に係る音処理装置の機能ブロック図である。
【図13】第４実施形態に係る音処理装置で実行される処理を示すフロー図である。
【図14】第５実施形態に係る音処理装置の機能ブロック図である。
【図15】第５実施形態に係る音処理装置で実行される処理を示すフロー図である。
【図16】第６実施形態に係る音処理装置の機能ブロック図である。
【図17】第６実施形態に係る音処理装置で実行される処理を示すフロー図である。
【図18】第７実施形態に係る音処理装置の機能ブロック図である。
【図19】第７実施形態に係る音処理装置で実行される処理を示すフロー図である。
【図20】第８実施形態に係る音処理装置の機能ブロック図である。
【図21】第８実施形態に係る音処理装置で実行される処理を示すフロー図である。
【図22】第９実施形態に係る音処理装置の機能ブロック図である。
【図23】第９実施形態に係る音処理装置で実行される処理を示すフロー図である。
【発明を実施するための形態】
【0012】
以下、本発明の実施形態の例を図面に基づいて説明する。
【0013】
［第１実施形態］まず、第１実施形態について説明する。図１は、本発明の第１実施形態に係る音処理装置を備えたシステムの構成を示す。図１に示すように、このシステムは、音処理装置１、コンテンツ再生装置２、マイク３、電子楽器４、電気楽器５、スピーカ６（放音手段の一例）、及び表示装置７を含む。なお、コンテンツ再生装置２は、例えば、光学記憶媒体に記憶されたコンテンツ（音楽又は動画等）を再生するものであってもよいし、ネットワークを介して配信されるコンテンツを再生するものであってもよい。
【0014】
音処理装置１は例えばＡＶレシーバ等である。音処理装置１は、ＣＰＵ１１、メモリ１２、入力部１３、出力部１４、音響信号処理部１５、及び映像信号処理部１６を含む。
【0015】
ＣＰＵ１１は、メモリ１２に記憶されたプログラムに基づいて、入力部１３、出力部１４、音響信号処理部１５、及び映像信号処理部１６を制御したり、情報処理を実行したりする。図１では省略されているが、ネットワークを介してデータ通信を行うためのネットワークインタフェースが音処理装置１に備えられており、プログラムはネットワークを介してダウンロードされてメモリ１２に記憶される。または、メモリカード等の情報記憶媒体からプログラムを読み出すための構成要素が音処理装置１に備えられており、プログラムが情報記憶媒体から読み出されてメモリ１２に記憶される。
【0016】
入力部１３は、コンテンツ再生装置２からコンテンツデータに基づく音響信号及び映像信号の入力を受け付けることが可能であり、音響信号を音響信号処理部１５に供給し、映像信号を映像信号処理部１６に供給する。
【0017】
また入力部１３は、ユーザの演奏音の入力を受け付けることも可能である。なお、「演奏」とは音を出す行為を示し、「演奏」には、楽器を奏でる行為だけでなく、歌を歌う行為も含まれる。このため、「演奏音」には、楽器の演奏音だけでなく、歌唱音も含まれる。なお以下では、楽器の演奏音のことを便宜上「楽器音」と記載する。
【0018】
例えば、入力部１３はマイク３と接続されて、マイク３から出力される音響信号の入力を受け付けることが可能であり、当該音響信号を音響信号処理部１５に供給する。マイク３は音を収音し、収音された音を音響信号として出力する。マイク３は、ユーザによって演奏されるアコースティック楽器の楽器音や、ユーザの歌唱音を音処理装置１に入力するために用いられる。
【0019】
また例えば、入力部１３はユーザによって演奏される電子楽器４又は電気楽器５と接続されて、電子楽器４又は電気楽器５から出力される音響信号の入力を受け付けることも可能であり、当該音響信号を音響信号処理部１５に供給する。
【0020】
なお、入力部１３が無線ネットワークインタフェースを含むようにし、音響信号が無線通信を介して入力部１３に入力されるようにしてもよい。すなわち、コンテンツ音や演奏音が無線通信を介して音処理装置１に入力されるようにしてもよい。
【0021】
音響信号処理部１５は例えばＤＳＰ（Digital Signal Processor）であり、ＣＰＵ１１からの制御に従って、音響信号に関する処理を実行する。音響信号処理部１５から出力される音響信号は出力部１４を介してスピーカ６から放音される。
【0022】
映像信号処理部１６は例えばＤＳＰ（Digital Signal Processor）であり、ＣＰＵ１１からの制御に従って、映像信号に関する処理を実行する。映像信号処理部１６から出力される映像信号は出力部１４を介して表示装置７に表示される。
【0023】
第１実施形態に係る音処理装置１では、自宅等でアコースティック楽器を奏でたり、歌を歌ったりするユーザがホール等で演奏している気分を楽しむことが可能になっている。以下、このような機能を実現するための構成について説明する。なお、図１に示したように、音処理装置１は、電子楽器４又は電気楽器５の楽器音の入力を受け付ける機能や、コンテンツ再生装置２によって再生されたコンテンツをスピーカ６や表示装置７で出力させる機能を備えているが、これらの機能は第１実施形態では必須のものではない。
【0024】
図２はユーザの演奏環境の一例を示す。図２に示す例では、ユーザＵの目の前にマイク３が設置されている。マイク３はユーザの演奏音を収音するために用いられる。例えば、ユーザがアコースティック楽器を奏でている場合には、楽器音がマイク３によって収音され、入力部１３に入力される。また例えば、ユーザが歌を歌っている場合には、歌唱音がマイク３によって収音され、入力部１３に入力される。
【0025】
また図２に示す例では、複数のスピーカ６Ａ，６Ｂ，６Ｃ，６Ｄ，６Ｅが設置されている。具体的には、ユーザＵの正面にスピーカ６Ａが設置されている。また、ユーザＵから見て左前方、右前方にそれぞれスピーカ６Ｂ，６Ｃが設置され、ユーザＵから見て左後方、右後方にそれぞれスピーカ６Ｄ，６Ｅが設置されている。図２に示す例では、５台のスピーカ６Ａ〜６Ｅを設置しているが、４台以下のスピーカ６を設置してもよいし、６台以上のスピーカ６を設置してもよい。例えば、スピーカ６Ｂ，６Ｃのみを設置してもよい。
【0026】
図３は、第１実施形態に係る音処理装置１で実現される機能を示す機能ブロック図である。図３に示すように、第１実施形態に係る音処理装置１は、演奏音調整部１０１、プリプロセッシング部１０２（第１の処理手段の一例）、間接音成分生成部１０３、ポストプロセッシング部１０４（第２の処理手段の一例）、及び出力制御部１０５を含む。これらの機能ブロックはＣＰＵ１１及び音響信号処理部１５によって実現される。例えば、ＣＰＵ１１がプログラムに従って音響信号処理部１５を制御することによって、上記の機能ブロックが実現される。
【0028】
まず、演奏音調整部１０１は、マイク３から入力された演奏音に対して所定処理を施すことによって、演奏音を調整する（Ｓ１０）。例えば、演奏音調整部１０１は、マイク３におけるハウリングを低減するためのハウリング低減処理を演奏音に対して施す。また例えば、演奏音調整部１０１はエフェクト処理（例えば、間接音を生成する前に不要な周波数帯域を削除したり、音圧レベルを整えたりする処理等）を演奏音に対して施すようにしてもよい。演奏音調整部１０１による処理が施された演奏音はプリプロセッシング部１０２に供給される。
【0029】
プリプロセッシング部１０２は、供給された音（ここでは演奏音）に対して、プリプロセッシングを実行する（Ｓ１１）。例えば、プリプロセッシング部１０２は、供給された音に対して、イコライザによる音声調整処理等を施す。プリプロセッシング部１０２による処理が施された演奏音は間接音成分生成部１０３に供給される。なお、図３では、演奏音調整部１０１とプリプロセッシング部１０２とが別個の機能ブロックとして示されているが、これらは一体的に構成されるようにしてもよい。
【0030】
間接音成分生成部１０３は演奏音に対応する擬似的な間接音成分を生成する（Ｓ１２）。すなわち、間接音成分生成部１０３は、ホール等の音響空間で演奏音が発せられた場合を想定し、その場合に音響空間で発生する間接音成分（残響成分等）を生成する。擬似的な間接音成分を生成する方法としては公知の各種方法を採用することができる。例えば、間接音成分生成部１０３は、想定する音響空間における間接音（残響音）の発生位置、直接音に対する間接音の遅延時間や、直接音の音圧レベルに対する間接音のレベルの割合等の情報に基づいて、演奏音に対応する擬似的な間接音成分を生成する。
【0031】
例えば、間接音成分生成部１０３は、供給された音に対応する間接音成分を当該供給された音に対して付加する間接音成分付加部を含んでおり、間接音成分生成部１０３は演奏音を間接音成分付加部に供給する。そして、間接音成分生成部１０３は、間接音成分付加部から出力される音（間接音成分が付加された演奏音）から元々の演奏音を除去することによって、間接音成分のみを取得する。
【0032】
図５は間接音成分の生成方法の一例について説明するための図である。図５（Ａ）は演奏音の一例を示す。この演奏音は直接音成分に相当する。例えば、図５（Ａ）に示す演奏音（直接音成分）は第１バッファ及び第２バッファの各々に格納される。間接音成分付加部は、第１バッファに格納された演奏音（直接音成分）に対して、当該演奏音に対応する間接音成分を付加する。ここで、間接音成分を付加する方法として公知の各種方法を採用することができる。この場合、第１バッファには、例えば図５（Ｂ）に示すように、演奏音の直接音成分及び間接音成分が格納される。その後、間接音成分生成部１０３は、第１バッファに格納された演奏音の直接音成分及び間接音成分（図５（Ｂ））から、第２バッファに格納された演奏音の直接音成分（図５（Ａ））を減算することによって、図５（Ｃ）に示すような間接音成分のみを取得する。
【0033】
なお、間接音成分を生成する方法は上記の例に限られない。例えば、図５（Ａ）に示す演奏音（直接音成分）を第１バッファに格納し、当該演奏音（直接音成分）に対応する間接音成分を第２バッファに生成するようにしてもよい。
【0034】
間接音成分生成部１０３によって生成された間接音成分はポストプロセッシング部１０４に供給される。ポストプロセッシング部１０４は、供給された音（ここでは間接音成分）に対して、ポストプロセッシングを実行する（Ｓ１３）。例えば、ポストプロセッシング部１０４は、供給された音に対して、スピーカ６の特性に合わせて調整するための処理を施す。ポストプロセッシング部１０４よる処理が施された間接音成分は出力制御部１０５に供給される。
【0035】
出力制御部１０５は、供給された間接音成分を出力部１４（出力手段の一例）に出力する（Ｓ１４）。すなわち、出力制御部１０５は、マイク３から入力された演奏音（アコースティック楽器の楽器音又は歌唱音）を出力部１４に出力することを制限しつつ、間接音成分を出力部１４に出力する。出力部１４に出力された間接音成分はスピーカ６によって放音される。
【0036】
ここで、「演奏音を出力部１４に出力することを制限する」とは、例えば、演奏音を出力部１４に出力しないようにすることである。すなわち、出力制御部１０５は、マイク３から入力された演奏音（直接音成分）を出力部１４に出力せずに、間接音成分のみを出力部１４に出力する。言い換えれば、出力制御部１０５は、マイク３から入力された演奏音（直接音成分）がスピーカ６から放音されないようにし、間接音成分のみがスピーカ６から放音されるようにする。
【0037】
「演奏音を出力部１４に出力することを制限する」とは、例えば、間接音成分に比べてかなり小さい音量で演奏音を放音されるように出力部１４に出力することであってもよい。すなわち、出力制御部１０５は、マイク３から入力された演奏音（直接音成分）を通常の音量に比べてかなり小さい音量（ユーザの耳に聞こえ難い程度に小さい音量）で放音されるように出力部１４に出力しつつ、間接音成分を通常の音量で出力部１４に出力するようにしてもよい。言い換えれば、出力制御部１０５は、マイク３から入力された演奏音（直接音成分）が通常の音量に比べてかなり小さい音量でスピーカ６から放音されるようにし、間接音成分が通常の音量でスピーカ６から放音されるようにする。
【0038】
なお、スピーカ６が音処理装置１に内蔵される場合、出力制御部１０５は、供給された間接音成分をスピーカ６（出力手段の他の一例）に出力することになる。
【0039】
以上に説明した第１実施形態に係る音処理装置１によれば、ユーザの演奏音（アコースティック楽器の楽器音又は歌唱音）に対応する擬似的な間接音成分（残響成分等）がスピーカ６から放音されるため、ユーザはホールや教会等でアコースティック楽器を演奏したり、歌を歌ったりしている気分を楽しむことができる。また、第１実施形態に係る音処理装置１によれば、ユーザの演奏音（アコースティック楽器の楽器音又は歌唱音）がスピーカ６から放音されることが制限されるため、本来の発音位置とは異なる位置から発せられる演奏音が聞こえることに起因する違和感をユーザに与えてしまわないように図ることができる。
【0040】
［第２実施形態］次に、第２実施形態について説明する。第２実施形態に係る音処理装置１のハードウェア構成は第１実施形態と同様である。また、ユーザの演奏環境も第１実施形態と基本的に同様である。ただし、第２実施形態では、音処理装置１の入力部１３と接続された電子楽器４又は電気楽器５がユーザによって演奏されるため、マイク３は不要である。
【0041】
第２実施形態に係る音処理装置１では、自宅等で電子楽器４又は電気楽器５を演奏しているユーザがホール等で演奏している気分を楽しむことが可能になっている。以下、このような機能を実現するための構成について説明する。なお、図１に示したように、音処理装置１は、コンテンツ再生装置２によって再生されたコンテンツをスピーカ６や表示装置７で出力させる機能を備えているが、これらの機能は第２実施形態では必須のものではない。
【0042】
図６は、第２実施形態に係る音処理装置１で実現される機能を示す機能ブロック図である。図６に示すように、第２実施形態に係る音処理装置１は、演奏音調整部１１１、プリプロセッシング部１１２、間接音成分生成部１１３、ポストプロセッシング部１１４、及び出力制御部１１５を含む。これらの機能ブロックはＣＰＵ１１及び音響信号処理部１５によって実現される。例えば、ＣＰＵ１１がプログラムに従って音響信号処理部１５を制御することによって、上記の機能ブロックが実現される。
【0044】
まず、演奏音調整部１１１は、電子楽器４又は電気楽器５から入力された演奏音に対して所定処理を施すことによって、演奏音を調整する（Ｓ２０）。例えば、演奏音調整部１１１はエフェクト処理（例えば、ギター音に対するディストーション処理等）を演奏音に対して施す。なお、演奏音調整部１１１では、大きな遅延を発生させるような処理は実行されず、遅延の小さい処理のみが実行される。演奏音調整部１１１による処理が施された演奏音はプリプロセッシング部１１２に供給される。
【0045】
プリプロセッシング部１１２は、供給された音（ここでは演奏音）に対して、プリプロセッシングを実行する（Ｓ２１）。また、間接音成分生成部１１３は、演奏音に対応する擬似的な間接音成分を生成する（Ｓ２２）。そして、ポストプロセッシング部１１４は、供給された音（ここでは間接音成分）に対して、ポストプロセッシングを実行する（Ｓ２３）。ステップＳ２１〜Ｓ２３は第１実施形態のステップＳ１１〜Ｓ１３と基本的に同様であり、プリプロセッシング部１１２、間接音成分生成部１１３、及びポストプロセッシング部１１４は第１実施形態のプリプロセッシング部１０２、間接音成分生成部１０３、及びポストプロセッシング部１０４と基本的に同様であるため、ここでは説明を省略する。
【0046】
なお、演奏音調整部１１１による処理が施された演奏音は、経路１１９を介して、出力制御部１１５にも供給される。経路１１９は、プリプロセッシング部１１２、間接音成分生成部１１３、及びポストプロセッシング部１１４を介さずに出力制御部１１５へと至る経路である。言い換えれば、経路１１９は、プリプロセッシング部１１２、間接音成分生成部１１３、及びポストプロセッシング部１１４を介して出力制御部１１５へと至る経路に比べて遅延の少ない経路である。例えば、プリプロセッシング部１１２、間接音成分生成部１１３、及びポストプロセッシング部１１４では、バッファに格納された演奏音に基づいて処理が実行されるが、経路１１９では、演奏音がバッファに格納されることなく、出力制御部１１５まで供給される。
【0047】
出力制御部１１５は、経路１１９を介して供給された演奏音（直接音成分）と、間接音成分生成部１１３によって生成された間接音成分とをミックスし、当該ミックス音を出力部１４に出力する（Ｓ２４）。出力部１４に出力されたミックス音はスピーカ６によって放音される。
【0048】
図８は、スピーカ６から放音される音について説明するための図である。ここでは、図８（Ａ）に示すように、演奏音Ａが入力された後で演奏音Ｂが入力された場合を想定する。これらの演奏音Ａ，Ｂは直接音成分に相当する。この場合、間接音成分生成部１１３では、図８（Ｂ）に示すように、演奏音Ａに対応する間接音成分Ａが生成され、当該間接音成分Ａが出力制御部１１５に供給される。なお、間接音成分生成部１１３では、上記の間接音成分Ａが生成された後で、演奏音Ｂに対応する間接音成分Ｂも生成されるが、ここでは省略している。
【0049】
プリプロセッシング部１１２、間接音成分生成部１１３、及びポストプロセッシング部１１４での処理量は大きく、これらの機能ブロックでの処理には時間を要するため、間接音成分Ａは、これらの機能ブロックでの処理に要した時間に応じた遅延時間だけ遅延してスピーカ６から放音される。これに対して、演奏音Ａ，Ｂ（直接音成分）は、遅延の少ない経路１１９（実質的な遅延の生じない経路）を介してスピーカ６から放音される。このため、図８（Ｃ）に示すように、演奏音Ａに対応する間接音成分Ａが実際よりも遅延して、演奏音Ａよりも後の演奏音Ｂとミックスされ、当該ミックスされた音がスピーカ６から放音される。
【0050】
以上に説明した第２実施形態に係る音処理装置１によれば、ユーザの演奏音（電子楽器４又は電気楽器５の楽器音）に対して擬似的な間接音成分（残響成分等）が付加されてスピーカ６から放音されるため、ユーザはホール等で楽器を演奏している気分を楽しむことができる。また、第２実施形態に係る音処理装置１によれば、ユーザの演奏音は遅延の小さい経路１１９を介してスピーカ６から放音されるため、ユーザによって演奏されてから当該演奏音がスピーカ６から放音されるまでの遅延を小さく抑えることができる。その結果、ユーザによって演奏されてから当該演奏音がスピーカ６から放音されるまでの遅延が大きいことに起因する違和感にユーザに与えてしまわないように図ることができる。
【0051】
なお、第２実施形態に係る音処理装置１では、ユーザの演奏音に対応する間接音成分が、現実の音響空間で演奏音が発せられた場合に生じる間接音成分に比べて遅れて生じることになるが（図８参照）、間接音成分に遅延が多少生じたとしても、それによりユーザに違和感を与える可能性は低いため、特に問題は生じない。
【0052】
［第３実施形態］次に、第３実施形態について説明する。第３実施形態に係る音処理装置１のハードウェア構成は第１実施形態と同様である。また、ユーザの演奏環境は第２実施形態と同様である。
【0053】
第３実施形態に係る音処理装置１では、自宅等で電子楽器４又は電気楽器５を演奏しているユーザが音楽コンテンツの演奏者の一員となってホール等で演奏している気分を楽しむことが可能になっている。以下、このような機能を実現するための構成について説明する。
【0054】
図９は、第３実施形態に係る音処理装置１で実現される機能を示す機能ブロック図である。図９に示すように、第３実施形態に係る音処理装置１は、演奏音調整部１２１、プリプロセッシング部１２２、間接音成分生成部１２３、ポストプロセッシング部１２４、出力制御部１２５、及びコンテンツデコード部１２６を含む。これらの機能ブロックはＣＰＵ１１及び音響信号処理部１５によって実現される。例えば、ＣＰＵ１１がプログラムに従って音響信号処理部１５を制御することによって、上記の機能ブロックが実現される。
【0056】
まず、コンテンツデコード部１２６は、コンテンツ再生装置２から入力されるマルチチャンネルのコンテンツ音をフォーマットデコードすることによって、ＰＣＭ信号に変換する（Ｓ３０）。
【0057】
また、演奏音調整部１２１は、電子楽器４又は電気楽器５から入力された演奏音に対して所定処理を施すことによって、演奏音を調整する（Ｓ３１）。ステップＳ３１は第２実施形態のステップＳ２０と同様であり、演奏音調整部１２１は第２実施形態の演奏音調整部１１１と同様であるため、ここでは説明を省略する。
【0058】
なお、図１０では、便宜上、ステップＳ３０，Ｓ３１が順番に実行されるように示されているが、ステップＳ３０，Ｓ３１は並列的に実行される。
【0059】
ＰＣＭ信号に変換されたコンテンツ音は、ＡＤ変換回路によってＰＣＭ信号に変換された演奏音とミックスされ（Ｓ３２）、当該ミックス音がプリプロセッシング部１２２に供給される。なお、演奏音は経路１２９を介して出力制御部１２５にも供給される。経路１２９は第２実施形態の経路１１９と同様である。
【0060】
プリプロセッシング部１２２は、上記ミックス音に対して、プリプロセッシングを実行する（Ｓ３３）。例えば、プリプロセッシング部１２２は、上記ミックス音に対して、イコライザによる音声調整処理等を施す。プリプロセッシング部１２２による処理が施されたミックス音は間接音成分生成部１２３に供給される。
【0061】
間接音成分生成部１２３は上記ミックス音に対応する擬似的な間接音成分を生成する（Ｓ３４）。すなわち、間接音成分生成部１２３は、演奏音（直接音成分）とコンテンツ音とに対応する間接音成分を生成する。間接音成分生成部１２３は、ホール等の音響空間で上記ミックス音が発せられた場合を想定し、その場合に音響空間で発生する間接音成分（残響成分等）を生成する。擬似的な間接音成分を生成する方法としては公知の各種方法を採用することができる。
【0062】
例えば、間接音成分生成部１２３は、第１バッファに格納された上記ミックス音に対して、間接音を付加する処理を施し、その後、第１バッファに格納された音から、第２バッファに格納された元々の上記ミックス音を減算することによって、上記ミックス音に対応する間接音成分を取得する。なお、間接音成分生成部１２３は、第１バッファに格納された上記ミックス音に基づいて、間接音を生成する処理を実行することによって、上記ミックス音に対応する間接音を第２バッファに生成することによって、上記ミックス音に対応する間接音成分を取得するようにしてもよい。
【0063】
間接音成分生成部１２３によって生成された間接音成分は、コンテンツ音とともに、ポストプロセッシング部１２４を経て、出力制御部１２５に供給される。
【0064】
ポストプロセッシング部１２４はポストプロセッシングを実行する（Ｓ３５）。ステップＳ３５は第１実施形態のステップＳ１３と基本的に同様であり、ポストプロセッシング部１２４は第１実施形態のポストプロセッシング部１０４と基本的に同様であるため、ここでは説明を省略する。
【0065】
出力制御部１２５は、経路１２９を介して供給された演奏音（直接音成分）と、ポストプロセッシング部１２４から供給されるコンテンツ音及び間接音成分とをミックスし、当該ミックス音を出力部１４に出力する（Ｓ３６）。出力部１４に出力されたミックス音はスピーカ６によって放音される。
【0066】
図１１は、スピーカ６から放音される音について説明するための図である。ここでは、図１１（Ａ）に示すように、演奏音Ａ及びコンテンツ音Ａが入力された後で、演奏音Ｂ及びコンテンツ音Ｂが入力された場合を想定する。なお、演奏音Ａ，Ｂは直接音成分に相当する。また図１１では、便宜上、演奏音Ａとコンテンツ音Ａとを時間的に少しずらして示しているが、演奏音Ａとコンテンツ音Ａとの入力時点は同じであることとする。演奏音Ｂとコンテンツ音Ｂとに関しても同様である。
【0067】
図１１（Ａ）に示す例の場合、間接音成分生成部１２３では、図１１（Ｂ）に示すように、演奏音Ａとコンテンツ音Ａとのミックス音に対応する間接音成分Ａが生成され、当該間接音成分Ａがコンテンツ音Ａとともに出力制御部１２５に供給される。なお、間接音成分生成部１１３では、上記の間接音成分Ａが生成された後で、演奏音Ｂとコンテンツ音Ｂとのミックス音に対応する間接音成分Ｂも生成されるが、ここでは省略している。
【0068】
プリプロセッシング部１２２、間接音成分生成部１２３、及びポストプロセッシング部１２４での処理量は大きく、これらの機能ブロックでの処理には時間を要するため、間接音成分Ａ及びコンテンツ音Ａは、これらの機能ブロックでの処理に要した時間に応じた遅延時間だけ遅延してスピーカ６から放音される。これに対して、演奏音Ａ，Ｂ（直接音成分）は、遅延の少ない経路１２９（実質的な遅延の生じない経路）を介してスピーカ６から放音される。このため、図１１（Ｃ）に示すように、間接音成分Ａが実際よりも遅延して、演奏音Ａよりも後の演奏音Ｂとミックスされ、当該ミックスされた音がスピーカ６から放音される。
【0069】
以上に説明した第３実施形態に係る音処理装置１によれば、ユーザの演奏音（電子楽器４又は電気楽器５の楽器音）とマルチチャンネルのコンテンツ音とに対して擬似的な間接音成分（残響成分等）が付加されてスピーカ６から放音されるため、ユーザは音楽コンテンツの演奏者の一員となってホール等で演奏している気分を楽しむことができる。また、第３実施形態に係る音処理装置１によれば、ユーザの演奏音は遅延の小さい経路１２９を介してスピーカ６から放音されるため、ユーザによって演奏されてから当該演奏音がスピーカ６から放音されるまでの遅延を小さく抑えることができる。その結果、ユーザによって演奏されてから当該演奏音がスピーカ６から放音されるまでの遅延が大きいことに起因する違和感にユーザに与えてしまわないように図ることができる。
【0070】
［第４実施形態］次に、第４実施形態について説明する。第４実施形態に係る音処理装置１のハードウェア構成は第１実施形態と同様である。また、ユーザの演奏環境は第１実施形態と同様である。
【0071】
第４実施形態に係る音処理装置１では、ユーザが音楽コンテンツの演奏者の一員となってホール等で歌を歌ったり、アコースティック楽器を奏でたりしている気分を楽しむことが可能になっている。以下、このような機能を実現するための構成について説明する。
【0072】
図１２は、第４実施形態に係る音処理装置１で実現される機能を示す機能ブロック図である。図１２に示すように、第４実施形態に係る音処理装置１は、演奏音調整部１３１、プリプロセッシング部１３２、間接音成分生成部１３３、ポストプロセッシング部１３４、出力制御部１３５、及びコンテンツデコード部１３６を含む。これらの機能ブロックはＣＰＵ１１及び音響信号処理部１５によって実現される。例えば、ＣＰＵ１１がプログラムに従って音響信号処理部１５を制御することによって、上記の機能ブロックが実現される。
【0074】
まず、コンテンツデコード部１３６はコンテンツ再生装置２から入力されるマルチチャンネルのコンテンツ音をフォーマットデコードすることによって、ＰＣＭ信号に変換する（Ｓ４０）。ステップＳ４０は第３実施形態のステップＳ３０と基本的に同様であり、コンテンツデコード部１３６は第３実施形態のコンテンツデコード部１２６と基本的に同様である。
【0075】
ただし、第４実施形態のコンテンツデコード部１３６は特定成分除去部１３６Ａを含み、ステップＳ４０において、特定成分除去部１３６Ａはコンテンツ音に含まれる特定成分を除去する。具体的には、特定成分除去部１３６Ａは、マイク３から入力された演奏音に対応する特定成分をコンテンツ音から除去する。例えば、ユーザの歌唱音がマイク３から入力される場合、特定成分除去部１３６Ａはボーカル成分をコンテンツ音から除去する。マルチチャンネルのコンテンツ音ではボーカル成分がセンターチャンネルに含まれていることが多いため、特定成分除去部１３６Ａはセンターチャンネルを除去することによって、ボーカル成分をコンテンツ音から除去する。ボーカル成分をコンテンツ音から除去する方法はこの方法に限られず、公知の各種方法を採用することができる。また例えば、アコースティック楽器の楽器音がマイク３から入力される場合、特定成分除去部１３６Ａは、当該アコースティック楽器の楽器音成分をコンテンツ音から除去するようにしてもよい。なお、マイク３から入力される演奏音の種類（例えば歌唱音、ギター音、ピアノ音等のいずれであるのか）に関しては、演奏音を解析することによって自動的に判別するようにしてもよいし、ユーザが入力装置を介して指定するようにしてもよい。
【0076】
演奏音調整部１３１は、マイク３から入力された演奏音に対して所定処理を施すことによって、演奏音を調整する（Ｓ４１）。ステップＳ４１は第１実施形態のステップＳ１０と同様であり、演奏音調整部１３１は第１実施形態の演奏音調整部１０１と同様であるため、ここでは説明を省略する。
【0077】
なお、図１３では、便宜上、ステップＳ４０，Ｓ４１が順番に実行されるように示されているが、ステップＳ４０，Ｓ４１は並列的に実行される。
【0078】
ＰＣＭ信号に変換されたコンテンツ音は、ＡＤ変換回路によってＰＣＭ信号に変換された演奏音とミックスされ（Ｓ４２）、当該ミックス音がプリプロセッシング部１３２に供給される。そして、当該ミックス音に基づいて、プリプロセッシング部１３２、間接音成分生成部１３３、及びポストプロセッシング部１３４による処理が実行される（Ｓ４３，Ｓ４４，Ｓ４５）。ステップＳ４３〜Ｓ４５は第３実施形態のステップＳ３３〜Ｓ３５と基本的に同様であり、プリプロセッシング部１３２、間接音成分生成部１３３、及びポストプロセッシング部１３４は第３実施形態のプリプロセッシング部１２２、間接音成分生成部１２３、及びポストプロセッシング部１２４と基本的に同様であるため、ここでは説明を省略する。
【0079】
なお、演奏音は経路１３９を介して出力制御部１３５に供給される。経路１３９は第２実施形態の経路１１９と同様である。
【0080】
第３実施形態の出力制御部１２５と同様に、出力制御部１３５は、経路１３９を介して供給された演奏音（直接音成分）と、ポストプロセッシング部１３４から供給されるコンテンツ音及び間接音成分とをミックスし、当該ミックス音を出力部１４に出力する（Ｓ４６）。出力部１４に出力されたミックス音はスピーカ６によって放音される。
【0081】
以上に説明した第４実施形態に係る音処理装置１によれば、ユーザの演奏音（歌唱音又はアコースティック楽器の楽器音）とマルチチャンネルのコンテンツ音とに対して擬似的な間接音成分（残響成分等）が付加されてスピーカ６から放音されるため、ユーザは音楽コンテンツの演奏者の一員となってホール等で歌を歌ったり、アコースティック楽器を奏でたりしている気分を楽しむことができる。また、第４実施形態に係る音処理装置１によれば、ユーザの演奏音は遅延の小さい経路１３９を介してスピーカ６から放音されるため、ユーザによって演奏されてから当該演奏音がスピーカ６から放音されるまでの遅延を小さく抑えることができる。その結果、ユーザによって演奏されてから当該演奏音がスピーカ６から放音されるまでの遅延が大きいことに起因する違和感にユーザに与えてしまわないように図ることができる。
【0082】
さらに、第４実施形態に係る音処理装置１によれば、例えば、ユーザが歌を歌っている場合にはコンテンツ音に含まれるボーカル成分が除去されるため、ユーザが音楽コンテンツのボーカルとなってホール等で歌を歌っている気分を楽しむことができる。
【0083】
なお、以上では、演奏音とコンテンツ音とをミックスする前に、コンテンツ音のボーカル成分を除去することとして説明したが、コンテンツ音のボーカル成分の除去は、演奏音とコンテンツ音とがミックスされた後で行われてもよい。
【0084】
［第５実施形態］次に、第５実施形態について説明する。第５実施形態に係る音処理装置１のハードウェア構成は第１実施形態と同様である。また、ユーザの演奏環境は第１実施形態又は第２実施形態と同様である。
【0085】
第５実施形態に係る音処理装置１でも、ユーザが音楽コンテンツの演奏者の一員となってホール等で演奏している気分を楽しむことが可能になっている。特に、第５実施形態に係る音処理装置１では、ユーザの演奏音とコンテンツ音との一体感を感じることが可能になっている。以下、このような機能を実現するための構成について説明する。
【0086】
図１４は、第５実施形態に係る音処理装置１で実現される機能を示す機能ブロック図である。図１４に示すように、第５実施形態に係る音処理装置１は、演奏音調整部１４１、プリプロセッシング部１４２、間接音成分生成部１４３、ポストプロセッシング部１４４、出力制御部１４５、コンテンツデコード部１４６、及びコンテンツ音調整部１４７を含む。これらの機能ブロックはＣＰＵ１１及び音響信号処理部１５によって実現される。例えば、ＣＰＵ１１がプログラムに従って音響信号処理部１５を制御することによって、上記の機能ブロックが実現される。
【0088】
まず、コンテンツデコード部１４６は、コンテンツ再生装置２から入力されるマルチチャンネルのコンテンツ音をフォーマットデコードすることによって、ＰＣＭ信号に変換する（Ｓ５０）。ステップＳ５０は第３実施形態のステップＳ３０と基本的に同様であり、コンテンツデコード部１４６は第３実施形態のコンテンツデコード部１２６と基本的に同様であるため、ここでは説明を省略する。
【0089】
コンテンツ音調整部１４７は、演奏音とコンテンツ音との特性を合わせるために、コンテンツ音を調整する（Ｓ５１）。コンテンツ音調整部１４７は間接音成分除去部１４７Ａを含む。間接音成分除去部１４７Ａは、演奏音とコンテンツ音との間接音成分の量を合わせるために、コンテンツ音に含まれる間接音成分を除去する。コンテンツ音に含まれる間接音成分を除去する方法としては公知の各種方法を採用することができる。
【0090】
電子楽器４又は電気楽器５から入力される演奏音は直接音成分のみを含み、間接音成分を含んでいないのに対し、コンテンツ音には直接音成分と間接音成分とが含まれている場合がある。このため、例えば、間接音成分除去部１４７Ａはコンテンツ音に含まれる間接音成分を除去して、コンテンツ音の直接音成分のみを出力する。例えば、間接音成分除去部１４７Ａは、コンテンツ音に含まれる間接音成分を特定し、当該特定された間接音成分の音圧レベルを下げることによって、間接音成分を除去する。すなわち、間接音成分除去部１４７Ａは、間接音成分の音圧レベルを零（ほぼ零）まで下げることによって、間接音成分をほぼ完全に除去する。
【0091】
なお、間接音成分除去部１４７Ａは、間接音成分の音圧レベルをある程度まで下げることによって、間接音成分をある程度まで除去（低減）するようにしてもよい。すなわち、「間接音成分を除去する」には、間接音成分をほぼ完全に除去することだけでなく、間接音成分をある程度まで除去（低減）することも含まれる。ここで、「ある程度」とは、間接音成分が残っていたとしてもユーザに違和感を感じさせないような程度である。
【0092】
演奏音調整部１３１は演奏音を調整する（Ｓ５２）。ステップＳ５２は第１実施形態又は第２実施形態のステップＳ１０，２０と同様であり、演奏音調整部１４１は第１実施形態又は第２実施形態の演奏音調整部１１０，１１１と同様であるため、ここでは説明を省略する。
【0093】
なお、図１５では、便宜上、ステップＳ５０，Ｓ５１とステップＳ５２とが順番に実行されるように示されているが、ステップＳ５０，Ｓ５１とステップＳ５２とは並列的に実行される。
【0094】
間接音成分が除去されたコンテンツ音（直接音成分）は演奏音とミックスされ（Ｓ５３）、当該ミックス音は、プリプロセッシング部１４２を経て、間接音成分生成部１４３に供給される。プリプロセッシング部１４２は、上記ミックス音に対して、プリプロセッシングを実行する（Ｓ５４）。ステップＳ５４は第１実施形態のステップＳ１１と同様であり、プリプロセッシング部１４２は第１実施形態のプリプロセッシング部１１２と同様であるため、ここでは説明を省略する。
【0095】
間接音成分生成部１４３は、上記ミックス音（コンテンツ音の直接音成分と演奏音の直接音成分）に対応する擬似的な間接音成分を生成する（Ｓ５５）。ステップＳ５５は第３実施形態のステップＳ３４と基本的に同様であり、間接音成分生成部１４３は第３実施形態の間接音成分生成部１２３と基本的に同様であるため、ここでは説明を省略する。
【0096】
間接音成分生成部１４３によって生成された間接音成分は、ポストプロセッシング部１４４を経て出力制御部１４５に供給される。ポストプロセッシング部１４４はポストプロセッシングを実行する（Ｓ５６）。ステップＳ５６は第１実施形態のステップＳ１３と同様であり、ポストプロセッシング部１４４は第１実施形態のポストプロセッシング部１１４と同様であるため、ここでは説明を省略する。なお、図１４に示すように、間接音成分が除去されたコンテンツ音（すなわち、コンテンツ音の直接音成分）も出力制御部１４５に供給される。また、演奏音（直接音成分）は経路１４９を介して出力制御部１４５に供給される。経路１４９は第２実施形態の経路１２９と同様である。
【0097】
出力制御部１４５は、経路１４９を介して供給された演奏音（直接音成分）と、コンテンツ音（直接音成分）と、間接音成分生成部１４３によって生成された間接音成分とをミックスし、当該ミックス音を出力部１４に出力する（Ｓ５７）。出力部１４に出力されたミックス音はスピーカ６によって放音される。
【0098】
以上に説明した第５実施形態に係る音処理装置１によれば、ユーザは音楽コンテンツの演奏者の一員となってホール等で演奏している気分を楽しむことができる。また、第５実施形態に係る音処理装置１によれば、ユーザの演奏音とコンテンツ音との間接音成分の量を合わせることが可能になり、その結果、ユーザの演奏音とコンテンツ音との一体感をユーザが十分に感じることが可能になる。
【0099】
なお、図１４に示したように、第５実施形態においても、アコースティック楽器の楽器音又は歌唱音がマイク３から入力されるようにしてもよい。ただし、この場合、演奏音に間接音成分が含まれる場合があるため、演奏音調整部１４１では演奏音に含まれる間接音成分を除去するようにしてもよい。
【0100】
［第６実施形態］次に、第６実施形態について説明する。第６実施形態は第５実施形態の変形例である。第６実施形態に係る音処理装置１では、演奏音が入力されている場合にのみコンテンツ音の間接音成分を除去する。
【0101】
図１６は、第６実施形態に係る音処理装置１で実現される機能を示す機能ブロック図であり、図１７は、第６実施形態に係る音処理装置１で実行される処理を示すフロー図である。図１６に示すように、第６実施形態に係る音処理装置１は、演奏音調整部１４１、プリプロセッシング部１４２、間接音成分生成部１４３、ポストプロセッシング部１４４、出力制御部１４５、コンテンツデコード部１４６、コンテンツ音調整部１４７、及び入力検出部１４８を含む。これらの機能ブロックはＣＰＵ１１及び音響信号処理部１５によって実現される。例えば、ＣＰＵ１１がプログラムに従って音響信号処理部１５を制御することによって、上記の機能ブロックが実現される。
【0102】
第６実施形態に係る音処理装置１は入力検出部１４８を含み、ステップＳ５１の代わりにステップＳ５１Ａ，５１Ｂを含む点で第５実施形態と異なる。以下、第５実施形態との相違点について主に説明する。
【0103】
第６実施形態に係る音処理装置１では、入力検出部１４８は、電子楽器４、電気楽器５、又はマイク３から演奏音が入力されていることを検出する。間接音成分除去部１４７Ａは、入力検出部１４８の検出結果に応じて、コンテンツ音に含まれる間接音成分を除去する。具体的には、演奏音が入力されていることが検出されている場合に（Ｓ５１Ａ：Ｙｅｓ）、間接音成分除去部１４７Ａはコンテンツ音から間接音成分を除去する（Ｓ５１Ｂ）。一方、演奏音が入力されていることが検出されていない場合に（Ｓ５１Ａ：Ｎｏ）、間接音成分除去部１４７Ａはコンテンツ音から間接音成分を除去しない。なお、図１７では省略されているが、この場合、ステップＳ５２，Ｓ５３も実行されず、プリプロセッシング部１４２にはコンテンツ音のみが供給され、ステップＳ５７ではコンテンツ音が出力部１４に出力される。
【0104】
以上に説明した第６実施形態に係る音処理装置１では、演奏音が入力されている場合に限って、コンテンツ音から間接音成分が除去される。演奏音が入力されていない場合には、演奏音とコンテンツ音とで間接音成分の量を合わせる必要がなく、コンテンツ音から間接音成分を除去する必要がない。この点、第６実施形態に係る音処理装置１によれば、コンテンツ音から間接音成分を除去する必要がない場合には、コンテンツ音から間接音成分を除去する処理が実行されなくなるため、音処理装置１の処理負荷を軽減することが可能になる。
【0105】
［第７実施形態］次に、第７実施形態について説明する。第７実施形態に係る音処理装置１のハードウェア構成は第１実施形態と同様である。また、ユーザの演奏環境は第１実施形態又は第２実施形態と同様である。
【0106】
第５実施形態や第６実施形態では、コンテンツ音の間接音成分の量を演奏音と合わせるために、コンテンツ音に含まれる間接音成分を除去するのに対し、第７実施形態に係る音処理装置１では、コンテンツ音の間接音成分の量に合わせて、演奏音に間接音成分を付加するようになっている。
【0107】
図１８は、第７実施形態に係る音処理装置１で実現される機能を示す機能ブロック図である。図１８に示すように、第７実施形態に係る音処理装置１は、演奏音調整部１５１、プリプロセッシング部１５２、間接音成分生成部１５３、ポストプロセッシング部１５４、出力制御部１５５、コンテンツデコード部１５６、及び間接音成分量解析部１５７を含む。これらの機能ブロックはＣＰＵ１１及び音響信号処理部１５によって実現される。例えば、ＣＰＵ１１がプログラムに従って音響信号処理部１５を制御することによって、上記の機能ブロックが実現される。
【0109】
まず、コンテンツデコード部１５６は、コンテンツ再生装置２から入力されるマルチチャンネルのコンテンツ音をフォーマットデコードすることによって、ＰＣＭ信号に変換する（Ｓ６０）。ステップＳ６０は第３実施形態のステップＳ３０と基本的に同様であり、コンテンツデコード部１５６は第３実施形態のコンテンツデコード部１２６と基本的に同様であるため、ここでは説明を省略する。
【0110】
間接音成分量解析部１５７はコンテンツ音に含まれる間接音成分の量を解析する（Ｓ６１）。例えば、間接音成分量解析部１５７はコンテンツ音に含まれる間接音成分の数や大きさ（音圧レベル）を解析する。コンテンツ音に含まれる間接音成分の量を解析する方法としては公知の各種方法を採用することができる。
【0111】
演奏音調整部１５１は演奏音を調整する（Ｓ６２）。ステップＳ６２は第１実施形態又は第２実施形態のステップＳ１０，Ｓ２０と基本的に同様であり、演奏音調整部１５１は第１実施形態又は第２実施形態の演奏音調整部１０１，１１１と基本的に同様である。
【0112】
ただし、第７実施形態の演奏音調整部１５１は、演奏音とコンテンツ音との特性を合わせるために演奏音を調整する役割も果たす。すなわち、演奏音調整部１５１は間接音成分付加部１５１Ａを含み、ステップＳ６２において、間接音成分付加部１５１Ａは、演奏音に対応する間接音成分を当該演奏音に対して付加する。特に、間接音成分付加部１５１Ａは、演奏音に対して付加する間接音成分の量を、間接音成分量解析部１５７の解析結果に基づいて設定する。すなわち、間接音成分付加部１５１Ａは、演奏音に対して付加する間接音成分の数や大きさを、コンテンツ音に含まれる間接音成分の数や大きさに合わせて設定する。つまり、間接音成分付加部１５１Ａは、演奏音に対して付加する間接音成分の数や大きさを、コンテンツ音に含まれる間接音成分の数や大きさと同程度に設定する。
【0113】
第７実施形態に係る音処理装置１では、コンテンツ音と、間接音成分付加部１５１Ａによって間接音成分が付加された演奏音とがミックスされ（Ｓ６３）、当該ミックス音がプリプロセッシング部１５２に供給される。そして、当該ミックス音に基づいて、プリプロセッシング部１５２、間接音成分生成部１５３、及びポストプロセッシング部１５４による処理が実行される（Ｓ６４，Ｓ６５，Ｓ６６）。ステップＳ６４〜Ｓ６６は第３実施形態のステップＳ３３〜Ｓ３５と基本的に同様であり、プリプロセッシング部１５２、間接音成分生成部１５３、及びポストプロセッシング部１５４は第３実施形態のプリプロセッシング部１２２、間接音成分生成部１２３、及びポストプロセッシング部１２４と基本的に同様であるため、ここでは説明を省略する。
【0114】
なお、間接音成分付加部１５１Ａによって間接音成分が付加された演奏音は、経路１５９を介して出力制御部１５５に供給される。経路１５９は第２実施形態の経路１１９と同様である。
【0115】
出力制御部１５５は、コンテンツ音と、間接音成分付加部１５１Ａによって間接音成分が付加された演奏音と、間接音成分生成部１５３によって生成された間接音成分とをミックスし、当該ミックス音を出力部１４に出力する（Ｓ６７）。出力部１４に出力されたミックス音はスピーカ６によって放音される。
【0116】
以上に説明した第７実施形態に係る音処理装置１によれば、ユーザは音楽コンテンツの演奏者の一員となってホール等で演奏している気分を楽しむことができる。また、第７実施形態に係る音処理装置１によれば、ユーザの演奏音とコンテンツ音との間接音成分の量を合わせることが可能になり、その結果、ユーザの演奏音とコンテンツ音との一体感をユーザが十分に感じることが可能になる。
【0117】
なお、図１８に示したように、第７実施形態においても、アコースティック楽器の楽器音又は歌唱音がマイク３から入力されるようにしてもよい。ただし、この場合、マイク３から含まれる演奏音に間接音成分が予め含まれる場合があるため、演奏音調整部１５１では、演奏音に含まれる間接音成分を一旦除去した後で、間接音成分付加部１５１Ａによって間接音成分を演奏音に対して付加するようにしてもよい。
【0118】
［第８実施形態］次に、第８実施形態について説明する。第８実施形態は第７実施形態の変形例である。第８実施形態に係る音処理装置１では、演奏音への間接音の付加の仕方を当該演奏音の種類に応じて変える。
【0119】
図２０は、第８実施形態に係る音処理装置１で実現される機能を示す機能ブロック図であり、図２１は、第８実施形態に係る音処理装置１で実行される処理を示すフロー図である。図２０に示すように、第８実施形態に係る音処理装置１は、演奏音調整部１５１、プリプロセッシング部１５２、間接音成分生成部１５３、ポストプロセッシング部１５４、出力制御部１５５、コンテンツデコード部１５６、間接音成分量解析部１５７、及び演奏音種類特定部１５８を含む。これらの機能ブロックはＣＰＵ１１及び音響信号処理部１５によって実現される。例えば、ＣＰＵ１１がプログラムに従って音響信号処理部１５を制御することによって、上記の機能ブロックが実現される。
【0120】
第８実施形態に係る音処理装置１は演奏音種類特定部１５８を含み、ステップＳ６２の代わりにステップＳ６２Ａ，Ｓ６２Ｂを含む点で第７実施形態と異なる。以下、第７実施形態との相違点について主に説明する。
【0121】
第８実施形態に係る音処理装置１では、演奏音種類特定部１５８は、入力された演奏音の種類を特定する（ステップＳ６２Ａ）。例えば、演奏音種類特定部１５８は、入力された演奏音が楽器音であるか否かを判定する。また、入力された演奏音が楽器音である場合、演奏音種類特定部１５８は楽器音の種類を特定する。すなわち、演奏音種類特定部１５８は、入力された演奏音が複数種類の楽器（例えばギター、バイオリン、又はピアノ等）のうちのいずれの音であるのかを特定する。また例えば、演奏音種類特定部１５８は、入力された演奏音が歌唱音であるか否かを判定する。なお、演奏音の種類を特定する方法としては公知の各種方法を採用することができる。
【0122】
また、第８実施形態の間接音成分付加部１５１Ａは、間接音成分量解析部１５７の解析結果だけでなく、演奏音種類特定部１５８の特定結果にも基づいて、演奏音に対応する間接音成分を当該演奏音に対して付加する（Ｓ６２Ｂ）。すなわち、間接音成分付加部１５１Ａは、間接音成分量解析部１５７の解析結果だけでなく、演奏音種類特定部１５８の特定結果にも基づいて、演奏音に対して付加する間接音成分を設定する。
【0123】
現実の音響空間における演奏音の放射特性は演奏音の種類ごとに異なるため、間接音成分付加部１５１Ａは、演奏音の種類ごとに異なる放射特性を踏まえて、演奏音に対して付加する間接音成分を設定する。
【0124】
例えば、ギターの楽器音は他の方向に比べて正面方向に放射される傾向があるため、演奏音がギターの楽器音である場合、間接音成分付加部１５１Ａは、正面方向に対応するチャンネルに対して間接音成分（残響成分等）を付加する。または、間接音成分付加部１５１Ａは、正面方向に対応するチャンネルに対して付加する間接音成分の量を、他のチャンネルに対して付加する間接音成分の量よりも大きくする。
【0125】
また例えば、バイオリンの楽器音は他の方向に比べて上方向に放射される傾向があるため、演奏音がバイオリンの楽器音である場合、間接音成分付加部１５１Ａは、上方向に対応するチャンネルに対して間接音成分（残響成分等）を付加する。または、間接音成分付加部１５１Ａは、上方向に対応するチャンネルに対して付加する間接音成分の量を、他のチャンネルに対して付加する間接音成分の量よりも大きくする。
【0126】
また例えば、歌唱音は他の方向に比べて正面方向に放射される傾向があるため、演奏音が歌唱音である場合、間接音成分付加部１５１Ａは、正面方向に対応するチャンネルに対して間接音成分（残響成分等）を付加する。または、間接音成分付加部１５１Ａは、正面方向に対応するチャンネルに対して付加する間接音成分の量を、他のチャンネルに対して付加する間接音成分の量よりも多くする。
【0127】
以上に説明した第８実施形態に係る音処理装置１によれば、ユーザの演奏音の放射特性を踏まえて、間接音成分を演奏音に対して付加することが可能になり、より自然な間接音成分を演奏音に対して付加できるようになる。
【0128】
［第９実施形態］次に、第９実施形態について説明する。第９実施形態に係る音処理装置１のハードウェア構成は第１実施形態と同様である。また、ユーザの演奏環境は第１実施形態又は第２実施形態と同様である。
【0129】
第６実施形態〜第８実施形態では、演奏音とコンテンツ音とで間接音成分の量を合わせるのに対し、第９実施形態に係る音処理装置１では、演奏音とコンテンツ音とで音色を合わせるようになっている。
【0130】
図２２は、第９実施形態に係る音処理装置１で実現される機能を示す機能ブロック図である。図２２に示すように、第９実施形態に係る音処理装置１は、演奏音調整部１６１、プリプロセッシング部１６２、間接音成分生成部１６３、ポストプロセッシング部１６４、出力制御部１６５、コンテンツデコード部１６６、第１音色解析部１６７、及び第２音色解析部１６８を含む。これらの機能ブロックはＣＰＵ１１及び音響信号処理部１５によって実現される。例えば、ＣＰＵ１１がプログラムに従って音響信号処理部１５を制御することによって、上記の機能ブロックが実現される。
【0132】
まず、コンテンツデコード部１６６は、コンテンツ再生装置２から入力されるマルチチャンネルのコンテンツ音をフォーマットデコードすることによって、ＰＣＭ信号に変換する（Ｓ７０）。ステップＳ７０は第３実施形態のステップＳ３０と基本的に同様であり、コンテンツデコード部１６６は第３実施形態のコンテンツデコード部１２６と基本的に同様であるため、ここでは説明を省略する。
【0133】
第２音色解析部１６８はコンテンツ音の音色を解析する（Ｓ７１）。例えば、コンテンツ音に複数種類の楽器音が含まれる場合に、第２音色解析部１６８は、当該複数種類の楽器音のうちの、演奏音に含まれる種類の楽器音を特定し、当該楽器音の音色を解析する。また例えば、演奏音に歌唱音が含まれる場合に、第２音色解析部１６８はコンテンツ音に含まれる歌唱音の音色を解析する。なお、コンテンツ音に含まれる楽器音又は歌唱音を特定する方法や、楽器音又は歌唱音の音色を解析する方法としては、公知の各種方法を採用することができる。
【0134】
第１音色解析部１６７は演奏音の音色を解析する（Ｓ７２）。第１音色解析部１６７は演奏音に含まれる楽器音又は歌唱音を特定し、当該楽器音又は歌唱音の音色を解析する。演奏音の音色を解析する方法としては公知の各種方法を採用することができる。
【0135】
なお、図２３では、便宜上、ステップＳ７０，７１とステップＳ７２とが順番に実行されるように示されているが、ステップＳ７０，Ｓ７１とステップＳ７２とは並列的に実行される。
【0136】
演奏音調整部１６１は演奏音を調整する（Ｓ７３）。ステップＳ６２は第１実施形態又は第２実施形態のステップＳ１０，Ｓ２０と基本的に同様であり、演奏音調整部１６１は第１実施形態又は第２実施形態の演奏音調整部１０１，１１１と基本的に同様である。
【0137】
ただし、第９実施形態の演奏音調整部１６１は、演奏音とコンテンツ音との特性を合わせるために演奏音を調整する役割も果たす。すなわち、演奏音調整部１６１は音色調整部１６１Ａを含み、ステップＳ７３において、音色調整部１６１Ａは、第１音色解析部１６７の解析結果と、第２音色解析部１６８の解析結果との比較に基づいて、演奏音の音色を調整する。
【0138】
例えば、演奏音に含まれるバイオリン音（バイオリンの楽器音）の高域成分が多いとの解析結果が第１音色解析部１６７によって得られ、かつ、コンテンツ音に含まれるバイオリン音の高域成分が少ないとの解析結果が第２音色解析部１６８によって得られた場合、音色調整部１６１Ａは演奏音に含まれるバイオリン音の高域成分を減少させる。要するに、演奏音に含まれる楽器音の特定帯域成分の量とコンテンツ音に含まれる同種の楽器音の特定帯域成分の量とが異なる場合に、演奏音に含まれる楽器音の特定帯域成分とコンテンツ音に含まれる同種の楽器音の高域成分と同程度に設定すべく、音色調整部１６１Ａは演奏音に含まれる楽器音の特定帯域成分を調整する。
【0139】
第９実施形態に係る音処理装置１では、コンテンツ音と、音色調整部１６１Ａによって音色が調整された演奏音とがミックスされ（Ｓ７４）、当該ミックス音がプリプロセッシング部１６２に供給される。そして、当該ミックス音に基づいて、プリプロセッシング部１６２、間接音成分生成部１６３、及びポストプロセッシング部１６４による処理が実行される（Ｓ７５，Ｓ７６，Ｓ７７）。ステップＳ７５〜Ｓ７７は第３実施形態のステップＳ３３〜Ｓ３５と基本的に同様であり、プリプロセッシング部１６２、間接音成分生成部１６３、及びポストプロセッシング部１６４は第３実施形態のプリプロセッシング部１２２、間接音成分生成部１２３、及びポストプロセッシング部１２４と基本的に同様であるため、ここでは説明を省略する。
【0140】
なお、音色調整部１６１Ａによって音色が調整された演奏音は、経路１６９を介して、出力制御部１６５に供給される。経路１６９は第２実施形態の経路１１９と同様である。
【0141】
第３実施形態の出力制御部１２５と同様に、出力制御部１６５は、経路１６９を介して供給された演奏音（音色調整部１６１Ａによって音色が調整された演奏音）と、ポストプロセッシング部１６４から供給されるコンテンツ音及び間接音成分とをミックスし、当該ミックス音を出力部１４に出力する（Ｓ７８）。出力部１４に出力されたミックス音はスピーカ６によって放音される。
【0142】
以上に説明した第９実施形態に係る音処理装置１によれば、ユーザは音楽コンテンツの演奏者の一員となってホール等で演奏している気分を楽しむことができる。また、第９実施形態に係る音処理装置１によれば、ユーザの演奏音とコンテンツ音との音色を合わせることが可能になり、その結果、ユーザの演奏音とコンテンツ音との一体感をユーザが十分に感じることが可能になる。
【0143】
なお、演奏音の音色を調整する音色調整部１６１Ａの代わりに、コンテンツ音の音色を第１音色解析部１６７の解析結果と第２音色解析部１６８の解析結果との比較に基づいて調整する音色調整部を設けるようにしてもよい。
【0144】
この音色調整部は、例えば、演奏音に含まれるバイオリン音の高域成分が多いとの解析結果が第１音色解析部１６７によって得られ、かつ、コンテンツ音に含まれるバイオリン音の高域成分が少ないとの解析結果が第２音色解析部１６８によって得られた場合に、コンテンツ音に含まれるバイオリン音の高域成分を増加させるようにしてもよい。
【0145】
また、この音色調整部は、例えば、演奏音ではバイオリン音（バイオリンの楽器音）の高域成分が多いとの解析結果が第１音色解析部１６７によって得られ、かつ、コンテンツ音では、バイオリン音とは異なる楽器音であるギター音の高域成分が多いとの解析結果が第２音色解析部１６８によって得られた場合に、コンテンツ音に含まれるギター音の高域成分を減少させるようにしてもよい。
【0146】
なお、演奏音の音色を調整する音色調整部１６１Ａと、コンテンツ音の音色を調整する音色調整部との両方を設けるようにしてもよい。例えば、第１音色解析部１６７によって、演奏音に含まれるバイオリン音の高域成分が多いとの解析結果が得られ、かつ、第２音色解析部１６８によって、コンテンツ音に含まれるバイオリン音の高域成分が少ないとの解析結果が得られた場合に、演奏音に含まれるバイオリン音の高域成分とコンテンツ音に含まれるバイオリン音の高域成分とを同程度に設定すべく、演奏音に含まれるバイオリン音の高域成分と、演奏音に含まれるバイオリン音の高域成分とをそれぞれ調整するようにしてもよい。
【0147】
［変形例］本発明は以上説明した第１実施形態〜第９実施形態に限定されるものではない。
【0148】
例えば、第１実施形態〜第９実施形態のうちの複数を組み合わせるようにしてもよい。
【0149】
また例えば、以上では、音処理装置１がＡＶレシーバであることを前提として説明しており、以上に説明したような機能はＡＶレシーバを用いて実現することができるが、音処理装置１はＡＶレシーバ以外の装置であってもよく、以上に説明したような機能はＡＶレシーバ以外の装置によって実現するようにしてもよい。例えば、音処理装置１はスピーカに内蔵されるようにしてもよい。また例えば、音処理装置１は、デスクトップ型コンピュータ、ラップトップ型コンピュータ、タブレット型コンピュータ、又はスマートフォン等によって実現するようにしてもよい。
【0150】
［付記］以上に説明した実施形態についての記載から把握されるように、本明細書では以下に記載の発明を含む多様な技術的思想が開示されている。
【0151】
本発明に係る音処理装置は、ユーザの演奏音の入力を受け付ける入力手段と、前記演奏音と、コンテンツデータに基づいて得られる音であるコンテンツ音との特性を合わせるために、前記演奏音と前記コンテンツ音との少なくとも一方を調整する調整手段と、前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成手段と、前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御手段と、を含む。
【0152】
また、本発明に係る音処理方法は、ユーザの演奏音と、コンテンツデータに基づいて得られるコンテンツ音との特性を合わせるために、前記演奏音と前記コンテンツ音との少なくとも一方を調整する調整ステップと、前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成ステップと、前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御ステップと、を含む。
【0153】
また、本発明に係るプログラムは、ユーザの演奏音と、コンテンツデータに基づいて得られるコンテンツ音との特性を合わせるために、前記演奏音と前記コンテンツ音との少なくとも一方を調整する調整手段、前記演奏音と前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成する生成手段、及び、前記演奏音と、前記コンテンツ音の少なくとも直接音成分と、前記間接音成分とをミックスしてなる音を出力手段に出力する出力制御手段、としてコンピュータを機能させるためのプログラムである。また、本発明に係る情報記憶媒体は、上記プログラムを記録したコンピュータ読み取り可能な情報記憶媒体である。
【0154】
上記発明では、前記調整手段は、前記コンテンツ音に含まれる間接音成分を除去し、前記生成手段は、前記演奏音と、前記調整手段によって間接音成分が除去された前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成するようにしてもよい。
【0155】
上記発明では、前記調整手段は、前記演奏音の入力に応じて、前記コンテンツ音に含まれる間接音成分を除去するようにしてもよい。
【0156】
上記発明では、前記コンテンツ音に含まれる間接音成分の量を解析する解析手段を含み、前記調整手段は、前記演奏音に対応する間接音成分を前記演奏音に対して付加するものであり、前記演奏音に対して付加する間接音成分の量を前記解析手段の解析結果に基づいて設定し、前記生成手段は、前記調整手段によって間接音成分が付加された前記演奏音と、前記コンテンツ音とをミックスしてなる音に対応する間接音成分を生成するようにしてもよい。
【0157】
上記発明では、前記演奏音に含まれる楽器音の種類を特定する手段を含み、前記調整手段は、前記演奏音に含まれる楽器音の種類に基づいて、前記演奏音に対して付加する間接音成分を設定するようにしてもよい。
【0158】
上記発明では、前記演奏音に前記歌唱音が含まれるか否かを判定する手段を含み、前記調整手段は、前記演奏音に前記歌唱音が含まれるか否かの判定結果に基づいて、前記演奏音に対して付加する間接音成分を設定するようにしてもよい。
【0159】
上記発明では、前記演奏音に含まれる楽器音の音色を解析する第１の音色解析手段と、前記コンテンツ音に含まれる楽器音の音色を解析する第２の音色解析手段と、を含み、前記調整手段は、前記第１の音色解析手段の解析結果と、前記第２の音色解析手段の解析結果との比較に基づいて、前記演奏音と前記コンテンツ音との少なくとも一方の音色を調整するようにしてもよい。
【0160】
上記発明では、前記演奏音に含まれる楽器音の種類を特定する手段を含み、前記第２の音色解析手段は、前記コンテンツ音に複数種類の楽器音が含まれる場合に、当該複数種類の楽器音のうちの、前記演奏音に含まれる種類の楽器音の音色を解析するようにしてもよい。
【0161】
上記発明では、前記演奏音に含まれる歌唱音の音色を解析する第１の音色解析手段と、前記コンテンツ音に含まれる歌唱音の音色を解析する第２の音色解析手段と、を含み、前記調整手段は、前記第１の音色解析手段の解析結果と、前記第２の音色解析手段の解析結果との比較に基づいて、前記演奏音と前記コンテンツ音との少なくとも一方の音色を調整するようにしてもよい。
【符号の説明】
【0162】
１ 音処理装置、２ コンテンツ再生装置、３ マイク、４ 電子機器、５ 電気機器、６，６Ａ，６Ｂ，６Ｃ，６Ｄ，６Ｅ スピーカ、１１ ＣＰＵ、１２ メモリ、１３ 入力部、１４ 出力部、１５ 音信号処理部、１６ 映像信号処理部、１０１，１１１，１２１，１３１，１４１，１５１，１６１ 演奏音調整部、１０２，１１２，１２２，１３２，１４２，１５２，１６２ プリプロセッシング部、１０３，１１３，１２３，１３３，１４３，１５３，１６３ 間接音成分生成部、１０４，１１４，１２４，１３４，１４４，１５４，１６４ ポストプロセッシング部、１０５，１１５，１２５，１３５，１４５，１５５，１６５ 出力制御部、１１９，１２９，１３９，１４９，１５９，１６９ 経路、１２６，１３６，１４６，１５６，１６６ コンテンツデコード部、１３６Ａ 特定成分除去部、１４７ コンテンツ音調整部、１４７Ａ 間接音成分除去部、１４８ 入力検出部、１５１Ａ 間接音成分付加部、１５７ 間接音成分解析部、１５８ 演奏音種類特定部、１６１Ａ 音色調整部、１６７ 第１音色解析部、１６８ 第２音色解析部、Ｕ ユーザ。