(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023148134
(43)【公開日】2023-10-13
(54)【発明の名称】対象音加工装置、対象音加工方法および対象音加工プログラム
(51)【国際特許分類】
G10K 15/00 20060101AFI20231005BHJP
H04R 3/04 20060101ALI20231005BHJP
G01C 3/06 20060101ALI20231005BHJP
E04B 1/82 20060101ALI20231005BHJP
G06F 16/53 20190101ALI20231005BHJP
G01H 3/00 20060101ALI20231005BHJP
【FI】
G10K15/00 M
H04R3/04
G01C3/06 120S
E04B1/82 A
E04B1/82 Z
G06F16/53
G01H3/00 Z
G10K15/00 L
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2022056008
(22)【出願日】2022-03-30
(71)【出願人】
【識別番号】000140292
【氏名又は名称】株式会社奥村組
(74)【代理人】
【識別番号】110002170
【氏名又は名称】弁理士法人翔和国際特許事務所
(72)【発明者】
【氏名】柳沼 勝夫
(72)【発明者】
【氏名】稲留 康一
【テーマコード(参考)】
2E001
2F112
2G064
5B175
5D220
【Fターム(参考)】
2E001DF01
2E001DF11
2F112AD10
2F112BA01
2F112CA02
2F112CA12
2F112FA35
2G064AB01
2G064AB02
2G064AB13
2G064BA02
2G064BD02
2G064CC02
2G064CC41
2G064DD02
5B175DA02
5B175HB03
5B175JC04
5D220AB01
5D220AB08
5D220BC01
5D220BC08
5D220DD03
(57)【要約】 (修正有)
【課題】場所の情報に基づいて、試聴音を聴取すること。
【解決手段】対象音加工装置であって、所定環境下で対象音を聴取した場合に、実際に聞こえる音である絶対音を再現する試聴音、試聴音を出力するための出力部の第2特性に基づいて取得された試聴音を加工するための第2加工用補正値を用いて、試聴音を加工した加工済試聴音、および、所定場所を撮像した所定場所画像、を関連付けて格納する格納部と、加工済試聴音を試聴したい場所を撮像した試聴場所画像を受け付ける画像受付部と、受け付けた試聴場所画像に類似する所定場所画像を前記格納部から探索する探索部と、探索された所定場所画像に関連付けられた加工済試聴音を格納部から取得する取得部と、取得した加工済試聴音を制御して出力部から出力する出力制御部と、を備えた。
【選択図】
図2
【特許請求の範囲】
【請求項1】
所定場所において、収音部により収音された対象音、
前記対象音の収音条件、
前記収音部の第1特性に基づいて取得された前記対象音を加工するための第1加工用補正値を用いて、前記対象音を加工した加工済対象音、
前記所定場所において、所定環境下で前記対象音を聴取した場合に、実際に聞こえる音である絶対音を再現する試聴音、
前記試聴音を出力するための出力部の第2特性に基づいて取得された前記試聴音を加工するための第2加工用補正値を用いて、前記試聴音を加工した加工済試聴音、および、
前記所定場所を撮像した所定場所画像、を関連付けて格納する格納部と、
加工済試聴音を試聴したい場所を撮像した試聴場所画像を受け付ける画像受付部と、
受け付けた前記試聴場所画像に類似する前記所定場所画像を前記格納部から探索する探索部と、
探索された前記所定場所画像に関連付けられた加工済試聴音を前記格納部から取得する取得部と、
取得した前記加工済試聴音を制御して前記出力部から出力する出力制御部と、
を備えた対象音加工装置。
【請求項2】
前記所定場所画像および前記試聴場所画像は、同じ縮尺になるように調整された画像である請求項1に記載の対象音加工装置。
【請求項3】
縮尺調整された前記所定場所画像を用いて、音源位置から前記収音部までの距離を推定する距離推定部と、
縮尺調整された前記試聴場所画像を用いて、想定される音源位置から想定される試聴位置までの想定距離を推定する想定距離推定部と、
推定された前記距離および推定された前記想定距離に基づいて、前記探索部により探索された所定場所画像に関連付けられた加工済試聴音を、補正する補正部と、
をさらに有する請求項2に記載の対象音加工装置。
【請求項4】
前記所定場所画像および前記試聴場所画像は、撮像用のレンズに対する光線の入射角度および撮像時刻の少なくとも一方を同じ条件として撮像された画像である請求項1~3のいずれか1項に記載の対象音加工装置。
【請求項5】
前記所定場所画像および前記試聴場所画像は、所定時間間隔で撮像された連続画像である請求項1~4のいずれか1項に記載の対象音加工装置。
【請求項6】
前記所定場所画像は、前記対象音の収音中に撮像される請求項1~5のいずれか1項に記載の対象音加工装置。
【請求項7】
前記加工済試聴音は、外部騒音に起因する室内騒音、隣室から伝搬する騒音、建物内外から敷地境界へ伝搬する騒音、空調設備に起因する室内騒音、床衝撃音遮断性能および室内残響時間の少なくともいずれかを含む請求項1~6のいずれか1項に記載の対象音加工装置。
【請求項8】
前記所定場所画像を人工知能に学習させて、学習済み所定場所画像モデルを生成するモデル生成部をさらに備え、
前記探索部は、前記学習済み所定場所画像モデルを用いて、前記試聴場所画像に類似する前記所定場所画像を前記格納部から探索する、請求項1~6のいずれか1項に記載の対象音加工装置。
【請求項9】
前記モデル生成部は、水増しデータとして、左右反転を用いて前記学習済み所定場所画像モデルを生成する請求項8に記載の対象音加工装置。
【請求項10】
前記モデル生成部は、転移学習を用いて前記学習済み所定場所画像モデルを生成する請求項8または9に記載の対象音加工装置。
【請求項11】
所定場所において、収音部により収音された対象音、
前記対象音の収音条件、
前記収音部の第1特性に基づいて取得された前記対象音を加工するための第1加工用補正値を用いて、前記対象音を加工した加工済対象音、
前記所定場所において、所定環境下で前記対象音を聴取した場合に、実際に聞こえる音である絶対音を再現する試聴音、
前記試聴音を出力するための出力部の第2特性に基づいて取得された前記試聴音を加工するための第2加工用補正値を用いて、前記試聴音を加工した加工済試聴音、および、
前記所定場所を撮像した所定場所画像、を関連付けて格納する格納ステップと、
加工済試聴音を試聴したい場所を撮像した試聴場所画像を受け付ける画像受付ステップと、
受け付けた前記試聴場所画像に類似する前記所定場所画像を格納部から探索する探索ステップと、
探索された前記所定場所画像に関連付けられた加工済試聴音を前記格納部から取得する取得ステップと、
取得した前記加工済試聴音を制御して前記出力部から出力する出力制御部と、
を含む対象音加工方法。
【請求項12】
所定場所において、収音部により収音された対象音、
前記対象音の収音条件、
前記収音部の第1特性に基づいて取得された前記対象音を加工するための第1加工用補正値を用いて、前記対象音を加工した加工済対象音、
前記所定場所において、所定環境下で前記対象音を聴取した場合に、実際に聞こえる音である絶対音を再現する試聴音、
前記試聴音を出力するための出力部の第2特性に基づいて取得された前記試聴音を加工するための第2加工用補正値を用いて、前記試聴音を加工した加工済試聴音、および、
前記所定場所を撮像した所定場所画像、を関連付けて格納する格納ステップと、
加工済試聴音を試聴したい場所を撮像した試聴場所画像を受け付ける画像受付ステップと、
受け付けた前記試聴場所画像に類似する前記所定場所画像を格納部から探索する探索ステップと、
探索された前記所定場所画像に関連付けられた加工済試聴音を前記格納部から取得する取得ステップと、
取得した前記加工済試聴音を制御して前記出力部から出力する出力制御部と、
をコンピュータに実行させる対象音加工プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、対象音加工装置、対象音加工方法および対象音加工プログラムに関する。
【背景技術】
【0002】
音の響き方や遮音の程度などは通常、数値で示されることが多く、このような数値に馴染みの薄い一般の人は、具体的な音の聞こえ方をイメージすることは難しい。そのため、例えば、建物の設計仕様から音の響き方や遮音性能などを計算して、騒音などを収音した対象音に予測計算結果を加味した試聴音を生成することが行われている。例えば、特許文献1には、環境騒音(対象音)に対して、受音室内への伝搬経路ごと、例えば、戸境壁直接透過経路、開口部からの迂回伝搬経路、側壁固体伝搬経路などの経路ごとの減衰量を予測し、予測計算した減衰量から求まるインパルス応答波形を環境騒音の音源波形に畳み込み演算して評価音(試聴音)を生成することが開示されている(請求項1等)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2003-156388号公報
【特許文献2】特許第4307622号公報
【特許文献3】特許第4234257号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1に記載の技術では、試聴音を聞きたい場所において加工の対象となる対象音を収音し、加工して試聴音を生成していたが、収音した場所についての情報を有しないので、場所の情報に基づいて、試聴音を生成できなかった。
【課題を解決するための手段】
【0005】
上記課題を解決するため、本発明に係る対象音加工装置は、
所定場所において、収音部により収音された対象音、
前記対象音の収音条件、
前記収音部の第1特性に基づいて取得された前記対象音を加工するための第1加工用補正値を用いて、前記対象音を加工した加工済対象音、
前記所定場所において、所定環境下で前記対象音を聴取した場合に、実際に聞こえる音である絶対音を再現する試聴音、
前記試聴音を出力するための出力部の第2特性に基づいて取得された前記試聴音を加工するための第2加工用補正値を用いて、前記試聴音を加工した加工済試聴音、および、
前記所定場所を撮像した所定場所画像、を関連付けて格納する格納部と、
加工済試聴音を試聴したい場所を撮像した試聴場所画像を受け付ける画像受付部と、
受け付けた前記試聴場所画像に類似する前記所定場所画像を前記格納部から探索する探索部と、
探索された前記所定場所画像に関連付けられた加工済試聴音を前記格納部から取得する取得部と、
取得した前記加工済試聴音を制御して前記出力部から出力する出力制御部と、
を備えた。
【0006】
また、上記課題を解決するため、本発明に係る対象音加工方法は、
所定場所において、収音部により収音された対象音、
前記対象音の収音条件、
前記収音部の第1特性に基づいて取得された前記対象音を加工するための第1加工用補正値を用いて、前記対象音を加工した加工済対象音、
前記所定場所において、所定環境下で前記対象音を聴取した場合に、実際に聞こえる音である絶対音を再現する試聴音、
前記試聴音を出力するための出力部の第2特性に基づいて取得された前記試聴音を加工するための第2加工用補正値を用いて、前記試聴音を加工した加工済試聴音、および、
前記所定場所を撮像した所定場所画像、を関連付けて格納する格納ステップと、
加工済試聴音を試聴したい場所を撮像した試聴場所画像を受け付ける画像受付ステップと、
受け付けた前記試聴場所画像に類似する前記所定場所画像を格納部から探索する探索ステップと、
探索された前記所定場所画像に関連付けられた加工済試聴音を前記格納部から取得する取得ステップと、
取得した前記加工済試聴音を制御して前記出力部から出力する出力制御部と、
を含む。
【0007】
さらに、上記課題を解決するため、本発明に係る対象音加工プログラムは、
所定場所において、収音部により収音された対象音、
前記対象音の収音条件、
前記収音部の第1特性に基づいて取得された前記対象音を加工するための第1加工用補正値を用いて、前記対象音を加工した加工済対象音、
前記所定場所において、所定環境下で前記対象音を聴取した場合に、実際に聞こえる音である絶対音を再現する試聴音、
前記試聴音を出力するための出力部の第2特性に基づいて取得された前記試聴音を加工するための第2加工用補正値を用いて、前記試聴音を加工した加工済試聴音、および、
前記所定場所を撮像した所定場所画像、を関連付けて格納する格納ステップと、
加工済試聴音を試聴したい場所を撮像した試聴場所画像を受け付ける画像受付ステップと、
受け付けた前記試聴場所画像に類似する前記所定場所画像を格納部から探索する探索ステップと、
探索された前記所定場所画像に関連付けられた加工済試聴音を前記格納部から取得する取得ステップと、
取得した前記加工済試聴音を制御して前記出力部から出力する出力制御部と、
をコンピュータに実行させる。
【発明の効果】
【0008】
本発明によれば、対象音を加工して生成した試聴音と、収音した対象音の収音場所の情報とを関連付けて格納するので、場所の情報に基づいて、試聴音を聴取することができる。
【図面の簡単な説明】
【0009】
【
図1A】本発明の第1実施形態に係る対象音加工システムの概要を説明するための図である。
【
図1B】本発明の好ましい実施形態に係る対象音加工システムの動作概要を説明するためのシーケンス図である。
【
図2】本発明の第1実施形態に係る対象音加工システムの対象音加工システムの構成を説明するためのブロック図である。
【
図3A】本発明の第1実施形態に係る対象音加工システムの対象音加工装置が有するマイク補正値テーブルの一例を示す図である。
【
図3B】本発明の第1実施形態に係る対象音加工システムの対象音加工装置が有するスピーカ補正値テーブルの一例を示す図である。
【
図3C】本発明の第1実施形態に係る対象音加工システムの対象音加工装置が有する対象音画像テーブルの一例を示す図である。
【
図3D】本発明の第1実施形態に係る対象音加工システムの対象音加工装置が有する格納データテーブルの一例を示す図である。
【
図4】本発明の第1実施形態に係る対象音加工システムの対象音加工装置のハードウェア構成を説明するための図である。
【
図5A】本発明の第1実施形態に係る対象音加工システムの対象音加工装置の処理手順を説明するためのフローチャートである。
【
図5B】本発明の第1実施形態に係る対象音加工システムの携帯端末の処理手順を説明するためのフローチャートである。
【
図6】本発明の第2実施形態に係る対象音加工システムの対象音加工装置の構成を説明するためのブロック図である。
【
図7】本発明の第2実施形態に係る対象音加工システムの対象音加工装置が有する補正量テーブルの一例を説明するための図である。
【
図8】本発明の第2実施形態に係る対象音加工システムの対象音加工装置のハードウェア構成を説明するための図である。
【
図9】本発明の第2実施形態に係る対象音加工システムの対象音加工装置の処理手順を説明するためのフローチャートである。
【
図10】収音データの周波数特性を示すグラフである。
【
図11】マイクの収音可能レベルと線形性とを示すグラフである。
【
図12】ヘッドホン再生音の周波数特性を示すグラフである。
【
図13】ヘッドホンの再生可能レベルと線形性とを示すグラフである。
【
図16】会議室(音源室)側の音圧波形を示すグラフである。
【
図17】会議室(音源室)側のオクターブバンドレベルを示すグラフである。
【
図18】執務室(受音室)側の音圧波形を示すグラフである。
【
図19】執務室(受音室)側のオクターブバンドレベルを示すグラフである。
【発明を実施するための形態】
【0010】
以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明する。ただし、以下の実施形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。
【0011】
[第1実施形態]
本発明の第1実施形態としての対象音加工システム100について、
図1A~
図5Bを用いて説明する。対象音加工システム100は、例えば、所定場所において収音した対象音が、建築仕様などにより決まる性能を経て、どのように聞こえるかを評価するために用いられる。
図1Aは、本実施形態に係る対象音加工システム100の概要を説明するための図である。
【0012】
対象音加工システム100は、対象音加工装置110および携帯端末120を含んで構成されている。また、携帯端末120には、収音部130(マイク)と出力部140(スピーカ)とが、携帯端末120の外部からケーブルを用いて有線接続されている。なお、収音部130と出力部140とは、携帯端末120と無線接続されていてもよく、さらに、収音部130と出力部140とは、携帯端末120に内蔵されているものを用いてもよい。
【0013】
例えば、携帯端末120を所有した作業者やユーザが、携帯端末120に接続された収音部130(マイク)を用いて、所定場所において、対象音を収音する。ここで、対象音は、例えば、室内の音、屋外の音などが含まれるが、これらには限定されない。また、所定場所は、例えば、戸建て住宅や集合住宅などの建築予定地、既存建物であり、当該所定場所の関係者や購入希望者などが、当該所定場所の音に関する環境を知りたい場所である。
【0014】
まず、所定場所における対象音131の収音作業者が、収音部130を用いて所定場所の対象音131を収音し、収音した対象音131を携帯端末120へ保存する。そして、収音作業者(または携帯端末120の所有者など)が、携帯端末120に保存された対象音データを対象音加工装置110へ送信する。なお、携帯端末120と対象音加工装置110とは、無線接続により接続されている。また、対象音加工装置110は、クラウド上に設置されたクラウドサーバなどであってもよい。
【0015】
そして、対象音加工装置110は、取得した対象音131の対象音データに基づいて、所定場所で収音された対象音131を加工して、加工済対象音を生成し、生成した加工済対象音から試聴音を生成し、生成した試聴音を加工して加工済試聴音141を生成する。そして、対象音加工装置110は、例えば、以下の手順に従って、加工済対象音、試聴音、加工済試聴音141を生成する。
【0016】
すなわち、対象音加工装置110は、取得した対象音131の対象音データに基づいて、所定場所で収音された対象音131を加工して、加工済試聴音141を生成する。なお、携帯端末120は、対象音データを対象音加工装置110へ送信する際に、携帯端末120に接続されている収音部130(マイク)および出力部140(スピーカ)の特性に関するデータも合わせて送信することが好ましいが、対象音加工装置110からの要求に応じる形で送信してもよい。
【0017】
これは、収音部130の収音特性により、収音された対象音131の一部の周波数成分がカットされたり、出力部140の出力特性により、出力される試聴音が実際に聞こえる音と異なる周波数成分を持つ音が出力されたりするためである。そのため、対象音加工システム100においては、マイクやスピーカの特性をも加味した上で、対象音131を加工して加工済対象音、試聴音、加工済試聴音を生成するようになっている。
【0018】
例えば、携帯端末120に内蔵された内蔵型のマイクやスピーカは、携帯端末120の価格を抑える目的や、携帯端末120の筐体内のスペースの問題などから、外付け型のマイクやスピーカと比べて、小型化されており、特定の性能が制限されていたり、特定の機能が削られていたりする場合がある。また、外付け型のマイクやスピーカであっても、使用目的や価格によっては、使用可能な機能が特定の機能に限定されていたり、特定の性能が制限されていたり、これとは反対に特定の機能が強化されていたりする場合がある。そのため、マイクやスピーカには、様々な機能や性能を持ったものが多く存在している。
【0019】
このように、マイクやスピーカなどについて、対象音131の収音専用のマイクや、試聴音の出力専用のスピーカを使用していれば、マイクやスピーカごとのばらつきを調整する必要はない。しかしながら、専用のマイクやスピーカを使用しなければならないとすれば、対象音131の収音の際には、専用マイクをその都度、所定場所にまで運搬しなければならず、また、試聴音を聴取する場合には、専用スピーカの設置場所まで出向かなければならず、臨機応変、機動的に対応することが困難となる。
【0020】
そのため、対象音加工システム100においては、各機器の特性等に依存する誤差を解消するために、収音した対象音131を加工する各段階において、機器による誤差を解消した絶対音(加工済対象音、試聴音、加工済試聴音141)を生成し、これらの絶対音を加工することにより、現実の音と変わらない音を再現して、聴取者(ユーザ)が体験できるようにしている。
【0021】
よって、対象音加工システム100においては、収音した対象音131の対象音データと所定場所画像160とともに、収音部130(マイク)の特性と、出力部140(スピーカ)の特性とを対象音加工装置110に送信する。あるいは、収音部130および出力部140の特性を対象音131と所定場所画像160とは、別個に対象音加工装置110に送信してもよく、例えば、対象音131と所定場所画像160との送信前に送信しても、これらの送信後に送信してもよい。対象音加工装置110は、取得した対象音データについて、収音した収音部130の特性に応じた補正値を用いて加工して、加工済対象音を生成する。次に、対象音加工装置110は、生成した加工済対象音から、所定場所において、所定環境下で対象音131を聴取した場合に、実際に聞こえる音を再現する試聴音を生成する。
【0022】
対象音加工装置110は、例えば、仮想空間上に所定環境(建物など)を再現し、収音した対象音131のデータを用いて、当該所定環境下における、音響効果を予測して、試聴音を生成する。対象音加工装置110は、生成した試聴音を、出力部140の特性に応じた補正値を用いて加工し、加工済試聴音141を生成する。このように、出力部140の特性に基づいた補正値を用いて試聴音を加工することで、専用スピーカを用いなくても、出力部140において、実際に聞こえる音を確実に再現することが可能となる。なお、加工済試聴音141の試聴結果に基づいて、試聴音を再度生成するようにしてもよい。このように、試聴音を再度生成することにより、様々な環境下における試聴音を再現できるので、例えば、窓の面積や遮音性能のグレードを変更することにより、様々な環境下における試聴音をシミュレートすることが可能となる。
【0023】
ここで、所定環境には、例えば、対象音131を収音した所定場所における建設予定の集合住宅や戸建住宅などの建物が含まれ、これらの建物の室内やベランダ等の室外なども含まれる。さらに、所定環境には、当該建物の壁の位置や面積、遮音性能(音響透過損失)、建物に取り付けられる窓の位置、面積、遮音性能(音響透過損失)、給気口の面積、数、遮音性能(基準化音響透過損失)、室内の表面積、吸音性能(吸音力)など、当該建物の住環境等を実現する様々な要因が含まれてもよい。
【0024】
そして、対象音加工装置110は、生成した加工済試聴音141、対象音131、収音条件、加工済対象音、試聴音および所定場所画像160を関連付けて格納する。例えば、ユーザが、加工済試聴音141を試聴したい場所を撮像した試聴場所画像151を対象音加工装置110へ送信すると、対象音加工装置110において、試聴場所画像151に類似する所定場所画像160を探し出す。
【0025】
試聴場所画像151に類似する所定場所画像160を探し出すと、対象音加工装置110は、探し出した所定場所画像160に関連付けられている加工済試聴音141を取得し、出力部140から出力させる。これにより、ユーザは、自身が加工済試聴音141を試聴したい場所で、加工済試聴音141を試聴することができるようになる。また、対象音加工装置110においては、生成した加工済試聴音141を予め格納しているので、対象音131から加工済試聴音141を生成する時間などが不要となり、ユーザに対して、迅速に加工済試聴音141を提供することができるようになる。
【0026】
図1Bを参照して、対象音加工システム100の動作概要について説明する。ステップS101において、収音部130により対象音131を収音する。ステップS103において、収音部130から携帯端末120へ、収音した対象音131を送信する。収音部130により収音される対象音131は、例えば、アナログデータとなっている。
【0027】
そして、ステップS105において、携帯端末120に付属するカメラなどを用いて、対象音131を収音した場所である所定場所を撮像して、所定場所画像を取得する。ステップS107において、携帯端末120は、取得した対象音131をデジタル変換した対象音データと所定場所画像データとを対象音加工装置110へ送信する。なお、所定場所画像160は、デジタルカメラなどで撮像されることにより、予めデジタルデータとなっている。
【0028】
そして、ステップS109において、対象音加工装置110は、第1加工用補正値を用いて、対象音131を加工した加工済対象音を生成する。また、対象音加工装置110は、加工済対象音を加工して、所定場所において、所定環境下で対象音131を聴取した場合に、実際に聞こえる音である絶対音を再現する試聴音を生成する。さらに、対象音加工装置110は、第2加工用補正値を用いて、生成した試聴音を加工した加工済試聴音を生成する。そして、対象音加工装置110は、対象音131の収音条件、加工済対象音、試聴音、加工済試聴音および所定場所画像を関連付けて格納する。
【0029】
ステップS111において、例えば、携帯端末120は、ユーザが、所定場所とは異なる場所であって、試聴音を試聴したい場所である試聴場所をカメラ150で撮像して得られた試聴場所画像151を対象音加工装置110へ送信する。ステップS113において、対象音加工装置110は、受信した試聴場所画像151と類似する所定場所画像160を探索し、所定場所画像160に関連付けられた加工済試聴音を取得する。
【0030】
ステップS115において、取得した加工済試聴音を携帯端末120(出力部140)へ送信する。ステップS117において、出力部140は、受信した加工済試聴音を出力する。ここで、収音部130および出力部140は、携帯端末120に内蔵されていてもよい。また、対象音131のデジタル変換は、対象音加工装置110において行ってもよい。なお、所定場所画像160と試聴場所画像151とは、同じ縮尺になるように調整された画像となっていてもよい。このように、画像の縮尺を統一しておくことにより、試聴場所画像151に類似する所定場所画像160の探索に要する時間を短縮でき、さらに、探索の精度を向上させることができる。また、試聴場所画像151と所定場所画像160との撮像条件を統一しておいてもよい。さらに、試聴場所画像151と所定場所画像160とは、所定時間間隔で撮像された連続画像であってもよい。さらにまた、所定場所画像160は、対象音131の収音中に撮像してもよい。
【0031】
<対象音加工装置110の構成>
次に
図2を参照して、対象音加工装置110の構成について説明する。対象音加工装置110は、格納部211、画像受付部212、探索部213、取得部214および出力制御部215を有する。
【0032】
格納部211は、対象音、収音条件、加工済対象音、試聴音、加工済試聴音および所定場所を撮像した所定場所画像を関連付けて格納する。ここで、対象音は、例えば、例えば、携帯端末120を所有した作業者やユーザ(収音作業者)が、携帯端末120に接続された収音部130(マイク)を用いて、所定場所において、収音された音である。対象音は、例えば、室内の音、屋外の音などが含まれるが、これらには限定されない。また、所定場所は、例えば、戸建て住宅や集合住宅などの建築予定地、商業施設やオフィスビル、道路、鉄道施設、空港、発電所、工場などの建設予定地、既存建物などであり、当該所定場所の関係者や購入希望者などが、当該所定場所の音に関する環境を知りたい場所である。
【0033】
まず、対象音加工装置110は、収音部130の第1特性を取得する。収音部130の第1特性は、対象音131を収音した際の諸々の条件であり、例えば、収音部130(マイク)の周波数特性などの機械特性や、収音部130に組み込まれているソフトウェアの特徴、所定場所の気温、湿度、風向、風量などの環境特性を含むものであるがこれらには限定されない。
【0034】
対象音加工装置110は、取得した第1特性に基づいて、対象音131を加工するための第1加工用補正値を取得し、取得した第1加工用補正値を用いて、対象音131を加工して加工済対象音を生成する。対象音加工装置110は、例えば、内部ストレージや外図ストレージに格納されている第1加工用補正値を取得する。第1加工用補正値は、対象音131に対して、取得した第1特性に応じた加工を施すための補正値である。
【0035】
そして、対象音加工装置110は、取得した第1加工用補正値を用いて、対象音131(対象音データ)を加工して加工済対象音を生成する。対象音加工装置110は、例えば、特定の周波数成分をキャンセルなどして、対象音データを加工して、加工済対象王音を得る。
【0036】
次に、対象音加工装置110は、例えば、所定場所、あるいは、所定場所とは異なる場所において、所定環境下で、対象音131を聴取した場合に、実際に聞こえる音である絶対音を再現する試聴音を、生成された加工済対象音を加工して生成する。ここで、所定環境は、例えば、対象音131を収音した所定場所における建設予定の集合住宅や戸建住宅などの建物であり、これらの建物の室内やベランダ等の室外などを含む。さらに、所定環境には、当該建物の壁の位置や面積、遮音性能(音響透過損失)、建物に取り付けられる窓の位置、面積、遮音性能(音響透過喪失)、給気口の面積、数、遮音性能(基準化音響透過損失)、室内の表面積、吸音性能(吸音力)、周辺建物からの音の反射など、当該建物の住環境等を実現する様々な要因が含まれてもよい。
【0037】
また、生成される試聴音は、例えば、(1)外部騒音に起因する室内騒音、(2)空間遮音性能(隣室から伝搬する騒音)、(3)建物内外から敷地境界へ伝搬する騒音、(4)空調設備に起因する室内静ひつ性能、(5)床衝撃音遮断性能(床衝撃音)、(6)室内残響時間(音の響き)である。
【0038】
具体的には、(1)は、外部に鉄道などの騒音源がある場合に、その音が室内においてどのように聞こえるかについての音である。(2)は、ある部屋にTVや会議の音などの騒音源がある場合に、その音が隣室においてどのように聞こえるかについての音である。(3)は、建物敷地内(建物内や建物外)にある設備機械や作業音などの騒音源が敷地境界や近隣に対してどのように聞こえるかの音である。(4)は、エアコンや全熱交換器などの室内の空調設備が騒音源である場合に、室内の静粛性がどのように変化するか、あるいは、室内において空調設備の音がどのように聞こえるかについての音である。(5)は、上階の部屋からの飛び跳ねや走り回り音などが下階の部屋でどのように聞こえるかについての音である。(6)は、室内で会議や講演などをする場面で話し声や音響機器からの音が、当該室内においてどのように響いて聞こえるかについての音である。
【0039】
そして、対象音加工装置110は、生成された試聴音を出力するための出力部140の第2特性を取得する。第2特性は、生成された試聴音を出力するための出力部140(スピーカ)の出力条件などであり、例えば、出力部140の機械特性や、出力部140に組み込まれているソフトウェアの特徴や出力場所の環境特性などを含むものであるが、これらには限定されない。そして、対象音加工装置110は、出力される可能性のある出力部140の全てについての第2特性を取得する。
【0040】
対象音加工装置110は、取得した第2特性に基づいて、試聴音を加工するための第2加工用補正値を取得し、取得した第2加工用補正値を用いて、試聴音を加工して加工済試聴音141を生成する。対象音加工装置110は、取得した第2特性が複数ある場合には、これに応じて、複数の第2加工用補正値を取得する。すなわち、対象音加工装置110は、出力される可能性のある出力部140の全てについての第2加工用補正値を取得することとなる。そして、対象音加工装置110は、取得した第2加工用補正値が複数ある場合には、複数の加工済試聴音141を生成する。
【0041】
そして、対象音加工装置110は、生成した加工済試聴音141などと所定場所を撮像した所定場所画像160とを関連付けて格納する。ここで、所定場所画像160は、カメラなどで撮像される。カメラは、スマートフォンやタブレット端末などの携帯端末120に内蔵されているものや、カメラとして単独で存在しているもの、いずれを用いてもよい。撮像された所定場所画像160は、デジタルデータとして、カメラの内部ストレージや外部ストレージなどに保存される。
【0042】
以上のようにして、格納部211に格納された、加工済試聴音141や所定場所画像160などは、対象音加工装置110において、以下のようにして利用される。
【0043】
画像受付部212は、所定場所において、所定環境下で対象音131を試聴した場合に、実際に聞こえる音である絶対音を再現する試聴音を試聴したい場所であって、当該所定場所とは異なる場所を撮像した試聴場所画像151を受け付ける。試聴場所画像151は、例えば、カメラ150を用いて撮像される。
【0044】
なお、所定場所画像160と試聴場所画像151とは、同じ縮尺となるように調整された画像となっている。縮尺の調整は、例えば、所定場所画像160および試聴場所画像151を撮像する段階で、撮像条件(画角等)を揃えて撮像してもよいし、あるいは、所定場所画像160と試聴場所画像151を撮像した後に、レンダリングソフト等を用いて縮尺を調整してもよい。このように、所定場所画像160と試聴場所画像151との縮尺が同じになるように予め調整しておくと、次の、探索部213による探索速度や探索精度などを向上させることができる。
【0045】
探索部213は、受け付けた試聴場所画像151に類似する所定場所画像160を格納部211から探索する。探索部213は、例えば、試聴場所画像151と所定場所画像160との一致度に基づいて、試聴場所画像151に類似する所定場所画像160を格納部211から探索する。探索部213は、例えば、両画像の特徴点を抽出し、抽出された特徴点のうち一致する特徴点の数に基づいて、試聴場所画像151に類似する所定場所画像160を探索してもよい。
【0046】
また、探索部213は、所定場所を撮像した所定場所画像160を人工知能(AI:Artificial Intelligence)に入力して、機械学習させてもよい。人工知能による機械学習が終了すると、探索部213は、学習済み所定場所画像モデルを生成する。なお、探索部213は、生成した学習済み所定場所画像モデルを所定のストレージ等に保存しておいてもよい。この場合、新たな学習用画像を取得して、機械学習を行い、学習済み初手場所画像モデルを生成するたびに、保存された学習済み所定場所画像モデルを更新するようにしてもよい。
【0047】
人工知能による機械学習は、既知のアルゴリズムを用いて行われる。機械学習においては、損失関数は、重み指定を行い、事象数の逆数を採用する。また、探索部213は、人工知能による機械学習の精度を向上させて、より精度の高い類似画像探索用のモデルを生成するために、人工知能に学習させる所定場所画像の数を水増しする。探索部213は、例えば、左右反転を用いて水増しデータを得る。さらに、探索部213は、人工知能による機械学習の精度を向上させるために、転移学習を用いてもよい。ここで、転移学習とは、異なるデータセットを用いて学習済みモデルを、別の問題に転用し、部分的な学習をすることで、モデルの性能向上を狙う手法である。特に、教師データが十分でない場合に、推論性能の向上と学習時間の低減が期待できる手法でもある。
【0048】
取得部214は、探索された所定場所画像160に関連付けられた加工済試聴音141を取得する。格納部211には、取得した対象音131に基づいて、予め生成された加工済試聴音141が所定場所画像160に関連付けられて格納されている。また、所定場所画像160には、さらに、収音条件、加工済対象音および試聴音などが関連付けられて格納されている。
【0049】
出力制御部215は、生成された加工済試聴音141を制御して出力部140から出力する。例えば、出力制御部215は、生成された加工済試聴音141を携帯端末120へ送信して、出力部140から加工済試聴音141を出力する。また、出力制御部215は、生成された加工済試聴音141を出力部14へ直接送信することにより、加工済試聴音141を出力部140から出力するようにしてもよい。
【0050】
<携帯端末120の構成>
次に
図2を参照して、携帯端末120の構成について説明する。携帯端末120は、取得部221、送信部222、受信部223および出力制御部224を有する。なお、収音部130および出力部140は、携帯端末120に内蔵されていてもよい。
【0051】
取得部221は、所定場所において、収音部130(マイク)により収音された対象音131を取得する。ここで、対象音131は、室内の音および屋外の音の少なくとも1つが含まれる。取得された対象音131のデータは、アナログデータとなっているが、例えば、収音部130が、ADコンバータを有していれば、収音部130において、収音した対象音131のアナログデータをデジタルデータに変換してもよい。また、収音部130が、ADコンバータを有していない場合、携帯端末120が有するADコンバータを用いて、デジタルデータに変換してもよい。さらに、収音部130および携帯端末120ともにADコンバータを有していない場合、対象音加工装置110が有するADコンバータにおいて、収音した対象音131のアナログデータをデジタルデータに変換してもよい。
【0052】
送信部222は、取得した対象音131のデータを対象音加工装置110へ送信する。対象音加工装置110へ送信される対象音131のデータは、アナログデータであっても、デジタルデータであってもよい。
【0053】
受信部223は、対象音加工装置110から送信された加工済試聴音141を受信する。受信される加工済試聴音141のデータは、デジタルデータとなっている。
【0054】
出力制御部224は、受信した加工済試聴音141を制御して出力部140から出力する。出力制御部224は、受信した加工済試聴音141のデジタルデータを、アナログデータに変換して、出力部140へ送り、出力部140において、加工済試聴音141のアナログデータを再生するように制御する。なお、上述したように、対象音加工装置110の出力制御部215から出力部140に対して、加工済対象音を直接送信して、出力するようにしてもよい。
【0055】
次に、
図3Aを参照して、対象音加工装置110が有するマイク補正値テーブル301の一例について説明する。マイク補正値テーブル301は、マイクID(Identifier)311に関連付けて特性312および補正値313を記憶する。マイクID311は、対象音131を収音可能なマイクを識別するための識別子である。特性312は、マイクの特性を示し、周波数特性および収音可能レベルを含む。補正値313は、周波数補正値およびレベル補正値を含む。そして、対象音加工装置110は、マイク補正値テーブル301を参照して、マイク(収音部130)の特性に応じた補正値を抽出し、受信した対象音131を加工する。
【0056】
図3Bを参照して、対象音加工装置110が有するスピーカ補正値テーブル302の一例について説明する。スピーカ補正値テーブル302は、スピーカID321に関連付けて特性322および補正値323を記憶する。スピーカID321は、対象音加工装置110から送信された加工済試聴音141を出力可能なスピーカを識別するための識別子である。特性322は、スピーカの特性を示し、周波数特性および出力可能レベルを含む。補正値323は、周波数補正値およびレベル補正値を含む。そして、対象音加工装置1110は、スピーカ補正値テーブル302を参照して、スピーカ(出力部140)の特性に応じた補正値を抽出し、生成した試聴音を加工する。
【0057】
図3Cを参照して、対象音加工装置110が有する対象音画像テーブル303の一例について説明する。対象音画像テーブル303は、対象音ID331に関連付けて画像332、場所333、収音/撮像条件334を記憶する。対象音ID331は、収音部130により収音された対象音131のそれぞれを識別するための識別子である。画像332は、収音された対象音131に関連付けられて格納されている画像であり、対象音131を収音した場所を撮像した画像である。場所333は、対象音131を収音した場所を示す座標データであり、1つの場所に対して、複数の対象音131や画像が対応していることもある。収音/撮像条件334は、対象音131を収音した際の収音条件と収音場所の画像を撮像した際の撮像条件であり、被写体からの距離や露光時間、天候、気温などが含まれる。
【0058】
図3Dを参照して、対象音加工装置110が有する格納データテーブル304の一例について説明する。格納データテーブル304は、対象音ID331に関連付けて加工済対象音341、試聴音342および加工済試聴音343を記憶する。加工済対象音341は、対象音131を第1加工用補正値により加工した音のデータである。試聴音342は、加工済対象音を加工して生成される音のデータである。加工済試聴音343は、生成した試聴音を第2加工用補正値により加工して生成される音のデータである。
【0059】
そして、対象音加工装置110は、これらのテーブル301,302,303,304を参照して、試聴場所画像151に類似する所定場所画像に関連付けられた加工済試聴音141を探索する。
【0060】
図4を参照して、対象音加工装置110のハードウェア構成について説明する。CPU(Central Processing Unit)410は、演算制御用のプロセッサであり、プログラムを実行することで
図2の対象音加工装置110の各機能構成を実現する。CPU410は複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ROM(Read Only Memory)420は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース430は、ネットワークを介して他の装置などと通信する。なお、CPU410は1つに限定されず、複数のCPUであっても、あるいは画像処理用のGPU(Graphics Processing Unit)を含んでもよい。また、ネットワークインタフェース430は、VPU410とは独立したCPUを有して、RAM(Random Access Memory)440の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、RAM440とストレージ450との間でデータを転送するDMAC(Direct Memory Access Controller)を設けるのが望ましい(図示なし)。さらに、CPU410は、RAM440にデータが受信あるいは転送されたことを認識してデータを処理する。また、CPU410は、処理結果をRAM440に準備し、後の送信あるいは転送はネットワークインタフェース430やDMACに任せる。
【0061】
RAM440は、CPU410が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM440には、本実施形態の実現に必要なデータを記憶する記憶領域が確保されている。試聴場所画像データ441は、加工済試聴音141を試聴したい場所を撮像した画像データである。所定場所画像データ442は、対象音131を収音した場所を撮像した画像データである。加工済試聴音データ443は、収音した対象音131を加工して得られる試聴音データであり、出力部140から出力される試聴音データである。
【0062】
送受信データ444は、ネットワークインタフェース430を介して送受信されるデータである。また、RAM440は、各種アプリケーションを実行するためのアプリケーション実行領域445を有する。
【0063】
ストレージ450には、データベースや各種パラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ450は、マイク補正値テーブル301、スピーカ補正値テーブル302、対象音画像テーブル303および格納データテーブル304を格納する。マイク補正値テーブル301は、
図3Aに示した、マイクID311と補正値313などとの関係を管理するテーブルである。スピーカ補正値テーブル302は、
図3Bに示した、スピーカID321と補正値323などとの関係を管理するテーブルである。対象音画像テーブル303は、
図3Cに示した、対象音ID331と画像332などとの関係を管理するテーブルである。格納データテーブル304は、
図3Dに示した、対象音ID331と加工済試聴音343などとの関係を管理するテーブルである。
【0064】
ストレージ450は、さらに、画像受付モジュール451、探索モジュール452、取得モジュール453および出力制御モジュール454を格納する。画像受付モジュール451は、加工済試聴音141を試聴したい場所を撮像した試聴場所画像151受け付けるモジュールである。探索モジュール452は、受け付けた試聴場所画像151に類似する所定場所画像160を格納部211から探索するモジュールである。取得モジュール453は、探索された所定場所画像160に関連付けられた加工済試聴音141を取得するモジュールである。出力制御モジュール454は、取得した加工済試聴音141を制御して出力部140から出力するモジュールである。これらのモジュール451~454は、CPU410によりRAM440のアプリケーション実行領域445に読み出され、実行される。制御プログラム455は、対象音加工装置110の全体を制御するためのプログラムである。
【0065】
入出力インタフェース460は、入出力機器との入出力データをインタフェースする。入出力インタフェース460には、表示部461、操作部462が接続される。また、入出力インタフェース460には、さらに、記憶媒体464が接続されてもよい。さらに、音声出力部であるスピーカ463や、音声入力部であるマイク(図示せず)、あるいは、GPS位置判定部が接続されてもよい。なお、
図4に示したRAM440やストレージ450には、対象音加工装置110が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。
【0066】
次に
図5Aに示したフローチャートを参照して、対象音加工装置110の処理手順について説明する。このフローチャートは、
図4のCPU410がRAM440を使用して実行し、
図2の対象音加工装置110の各機能構成を実現する。
【0067】
ステップS501において、格納部211は、収音された対象音131、収音条件、加工済対象音、試聴音、加工済試聴音141および所定場所画像160を関連付けて格納する。ステップS503において、画像受付部212は、加工済試聴音141を試聴した場所を撮像した試聴場所画像151を受け付ける。ステップS505において、探索部213は、受け付けた試聴場所画像151に類似する所定場所画像160を格納部211から探索する。探索の方法は、例えば、所定場所画像160と試聴場所画像151との一致度に基づいて行われる。
【0068】
ステップS507において、探索部213は、試聴場所画像151に類似する所定場所画像160が探索できたか否かを判断する。探索できなかったと判断した場合(ステップS507のNO)、対象音加工装置110は、処理を終了する。探索できたと判断した場合(ステップS507のYES)、対象音加工装置110は、次のステップへ進む。
【0069】
ステップS509において、取得部214は、探索された所定場所画像160に関連付けられている加工済試聴音141を取得する。ステップS511において、出力制御部215は、取得した加工済試聴音141を制御して出力部140から出力する。
【0070】
次に
図5Bに示したフローチャートを参照して、携帯端末120の処理手順について説明する。このフローチャートは、不図示のCPUが不図示のRAMを使用して実行し、
図2の携帯端末120の各機能構成を実現する。
【0071】
ステップS531において、携帯端末120は、収音部130により収音された対象音131を取得する。ここで、携帯端末120は、取得した対象音131をデジタル変換してもよい。ステップS533において、携帯端末120は、取得した対象音131のデータを対象音加工装置110へ送信する。ステップS535において、携帯端末120は、対象音加工装置110から加工済試聴音141を受信する。受信した加工済試聴音141は、出力部140から出力される。
【0072】
本実施形態によれば、対象音を加工して生成した加工済試聴音と、当該対象音を収音した場所の情報とを関連付けて格納するので、場所の情報に基づいて、試聴音を聴取することができる。また、予め加工済試聴音を生成し格納しているので、加工済試聴音をその都度生成する必要がなく、ユーザに対して、より短時間で、加工済試聴音を聴取させることが可能となる。さらに、予め加工済試聴音を生成し格納しているの、その都度加工済試聴音を生成した、加工し直したりする手間を省けるので、同様に、ユーザに対して、より短時間で、加工済試聴音を聴取させることが可能となる。
【0073】
[第2実施形態]
次に本発明の第2実施形態に係る対象音加工システム600について、
図6~
図9を用いて説明する。
図6は、本実施形態に係る対象音加工システム600の構成を説明するためのブロック図である。本実施形態に係る対象音加工システム600においては、対象音加工装置610が、上記第1実施形態の対象音加工システム100の対象音加工装置110と比べると、距離推定部、想定距離推定部および補正部を有する点で異なる。その他の構成および動作は第1実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【0074】
上記第1実施形態では、対象音加工装置110は、収音した対象音131について、加工済試聴音141を予め生成し、対象音131を収音した場所を撮像した所定場所画像160と関連付けて格納する。そして、対象音加工装置110は、試聴場所画像151と類似する所定場所画像160を探索し、探索された所定場所画像160に関連付けられた加工済試聴音141を出力部140から出力させる。
【0075】
ここで、ユーザが、加工済試聴音141を試聴したい場所で撮像した試聴場所画像151は、所定場所画像160と比較した際に、音源からの距離が必ずしも一致しない。すなわち、音源からの距離が異なっている場合、音源からの距離により、試聴場所における音の聞こえ方が異なってくる。例えば、音源から遠ざかれば遠ざかるほど、音源から試聴場所に届く音が減衰等するため、聞こえ方が変化する。
【0076】
そのため、本実施形態においては、必ずしも、同じ距離で試聴場所画像151を撮像することができない場合であっても、予め生成しておいた加工済試聴音141を音源位置からの距離に応じた補正量で補正する。これにより、本実施形態においては、音源からの距離が異なっている場合であっても、加工済試聴音141の聞こえ方を調整することができるようになっている。
【0077】
対象音加工装置610は、さらに、距離推定部611、想定距離推定部612および補正部613を有する。距離推定部611は、縮尺調整された所定場所画像160を用いて、音源位置から収音部130までの距離を推定する。所定場所画像160は、縮尺調整されているので、距離推定部611は、例えば、画像中の音源などの被写体の大きさなどに基づいて、音源位置から収音部130までの距離を推定する。あるいは、所定場所画像160に距離推定の際に目印となる物体を写し込んでおき、この物体と音源などの被写体との大小関係などを利用して、音源と収音部130との間の距離を推定してもよい。
【0078】
想定距離推定部612は、縮尺調整された試聴場所画像151を用いて、想定される音源位置から想定される試聴位置までの想定距離を推定する。試聴場所画像151は、縮尺調整されているので、想定距離推定部612は、距離推定部611と同様に、例えば、画像中の音源などの被写体の大きさなどに基づいて、音源位置から想定される試聴位置までの想定距離を推定する。なお、想定される試聴位置には、想定距離を推定する際に目印となるような物体を配置してもよい。
【0079】
補正部613は、推定された距離および推定された想定距離に基づいて、探索部213により探索された所定場所画像160に関連付けられた加工済試聴音141を、補正する。補正部613は、例えば、距離推定部611により推定された距離に応じて、例えば、加工済試聴音141の音量や音程などを補正する。補正部613により補正されるパラメータは、音量や音程などには限定されない。
【0080】
次に、
図7を参照して、対象音加工装置610が有する補正量テーブル701の一例について説明する。補正量テーブル701は、推定距離711に関連付けて想定距離712および補正量713を記憶する。推定距離711は、距離推定部611により推定された距離である。想定距離712は、想定距離推定部612により推定された距離である。補正量713は、推定距離711と想定距離712との関係に応じて、加工済試聴音141の補正するためのパラメータの補正値である。補正量713には、周波数補正値やレベル補正値などが含まれる。そして、補正部613は、補正量テーブル701を参照して、加工済試聴音を補正する。
【0081】
図7を参照して、対象音加工装置610のハードウェア構成について説明する。RAM840は、CPU410が一時記憶のワークエリアとして使用するランダムアクセスメモリである。RAM840には、本実施形態の実現に必要なデータを記憶する記憶領域が確保されている。推定距離データ841は、所定場所画像160において、音源位置から収音部130までの推定される距離のデータである。想定距離842は、試聴場所画像151において、想定される音源位置から想定される試聴位置までの想定される距離のデータである。補正量データ843は、推定距離と想定距離とに応じた、加工済試聴音141を補正すべき量に関するデータである。
【0082】
ストレージ850には、データベースや各種パラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ850は、補正量テーブル701を格納する。補正量テーブル701は、
図7に示した推定距離711と補正量713などとの関係を管理するテーブルである。
【0083】
ストレージ850は、さらに、距離推定モジュール851、想定距離推定モジュール852および補正モジュール853を格納する。距離推定モジュール851は、所定場所画像160を用いて、音源位置から収音部130までの距離を推定するモジュールである。想定距離推定モジュール852は、試聴場所画像151を用いて、想定される音源位置から想定される試聴位置までの想定距離を推定するモジュールである。補正モジュール853は、推定距離および想定距離に基づいて、探索部213により探索された所定場所画像160に関連付けられた加工済試聴音141を補正するモジュールである。これらのモジュール851~853は、CPU410によりRAM840のアプリケーション実行領域445に読み出され、実行される。
【0084】
次に
図9に示したフローチャートを参照して、対象音加工装置610の処理手順について説明する。このフローチャートは、
図8のCPU410がRAM840を使用して実行し、
図6の対象音加工装置610の各機能構成を実現する。
【0085】
ステップS901において、距離推定部611は、所定場所画像160を取得して、音源位置から収音部130までの距離を推定する。ステップS903において、想定距離推定部612は、試聴場所画像151を用いて、想定される音源位置から想定される試聴位置までの想定距離を推定する。ステップS905において、補正部613は、推定された距離および推定された想定距離に基づいて、探索部213により探索された所定場所画像160に関連付けられた加工済試聴音を補正する。
【0086】
本実施形態によれば、想定距離と推定距離とに基づいて加工済試聴音を補正するので、所定場所画像と試聴場所画像とが、同じ撮像条件で撮像されていない場合であっても、実際に聞こえる音を再現させることができる。
【0087】
[実施例]
次に、
図10~
図19を参照して本発明の実施例について説明する。なお、本発明の範囲は以下の実施例には限定されない。
【0088】
対象音加工システム100,600の対象音加工装置110,610において、生成される試聴音は、[表1]に示した6項目((a)~(f))である。すなわち、(a)外部騒音に起因する室内騒音、(b)室間遮音性能(隣室から伝搬する騒音)、(c)建物内外から敷地境界へ伝搬する騒音、(d)空調設備に起因する室内騒音、(e)床衝撃音遮断性能(床衝撃音)、(f)室内残響時間(音の響き)の6項目である。
【0089】
【0090】
6項目それぞれの具体例については、例えば、(a)交通騒音(道路交通騒音、鉄道騒音など)、(b)会議室の話声やホテルのテレビ音などの空気伝搬音、(c)屋外設備機械、室内設備機械、(d)室内の空調設備、(e)床衝撃音(重量床衝撃音・軽量床衝撃音)、(f)会議室の話声、教室の授業の声などである。それぞれの計算には、例えば、特許文献1~3に記載の技術が利用される。
【0091】
また、6項目それぞれの対象周波数は、(a)50Hz~5,000Hz帯域、(b)100Hz~5,000Hz帯域、(c)および(d)50Hz~5,000Hz帯域、(e)重量床衝撃音:50Hz~630Hz帯域、軽量床衝撃音:50Hz~5,000Hz帯域、(f)100Hz~5,000Hz帯域となっている。
【0092】
そして、試聴音の生成については、(a)~(d)においては、減音量フィルタを生成し、音源データ(収音した対象音データ)にフィルタ処理して試聴音を生成する。
【0093】
(e)においては、JIS規格による標準衝撃源(タイヤ、ボール、タッピング)の衝撃力から床衝撃音レベルを求め、スラブ厚や床仕上げ構造、仕上げ天井などの条件ごとに収音した標準衝撃源による床衝撃音から計算した条件に近い音源データを抽出し、その床衝撃音レベルと計算値とのレベル差を減音量としたフィルタを生成して、試聴音を生成する。なお、重量床衝撃音は、50Hz~630Hz帯域が評価対象であるので、対象外の周波数についてはフィルタ処理して再生しない。
【0094】
(f)においては、無響室で収音した朗読音等のドライソースの音に、音響シミュレーション等により予測したインパルス応答やインパルス応答の実測値を畳み込み演算することにより、試聴音を生成する。
【0095】
次に、使用するマイク(収音部130や収音装置)やヘッドホン(出力部140やスピーカ)などはそれぞれ、固有の音響特性を有している。そのため、生成した試聴音を忠実に再生するためには、これらの音響特性を補正する必要があり、予め求めた補正値をもとに収音した音源(対象音131)や生成した試聴音を補正する。なお、使用機器の音響特性に対する補正値は、以下の方法で求められる。
【0096】
≪マイクの音響特性の補正方法≫
<マイクの周波数特性>
マイク(収音部130)の音響特性の補正方法について、携帯端末120としてタブレット端末を使用した場合を例に説明する。まず、評価対象周波数の音をマイクで収音できることを実験的に確認する。無響室において、スピーカ(音源)からピンクノイズ(雑音)を発生させ、1m離れた位置に精密騒音計を設置して収音する。
図10には、収音データの1/3オクターブバンドレベルが示されている。
【0097】
タブレット端末に外付けしたマイクと精密騒音計とは、対象周波数範囲である50Hz~5,000Hz帯域において概ね一致している。一方、タブレット端末に内蔵されたマイクでは、80Hz帯域以下の低い周波数でレベル差が見られる。重量床衝撃音や設備音等の低音域で問題となる音を収音する場合には、外付けマイクを利用することが好ましい。
【0098】
<マイクの収音可能レベルと線形性>
試聴音の試聴の際には、システム使用時は使用者の聴力障害への配慮や騒音対策が必要になる騒音の大きさを踏まえ、収音する音圧レベルを30dB~80dBと想定する。また、マイクの周波数特性は、収音する音圧レベルに応じて線形変化するものを用いる。そのため、使用するマイクの収音可能レベルと周波数特性との線形性を実験的に確認する。
【0099】
ピンクノイズの音量を30dB~80dBとし、タブレット端末の内蔵マイクと精密騒音計とを用いて収音した。収音した音を1/3オクターブバンド分析し、タブレット端末の内蔵マイクと精密騒音計との対応を検討する。
図11には、代表例として、1,000Hz帯域の結果が示されている。
【0100】
精密騒音計の値を真値とした場合、タブレット端末の内蔵マイクの使用時には、30dB~80dBまでは概ね線形に変化している。システム利用で想定している音圧レベル範囲で線形変化することから周波数帯域ごとに一定の補正値で補正が行える。
【0101】
対象とするマイクが、対象音加工システム100,600で利用できることを確認後、精度よく収音できるように、精密騒音計と対象とするマイクとの1/3オクターブバンドレベル差を補正値(第1加工用補正値)として利用する。
【0102】
≪ヘッドホンの音響特性の補正方法≫
<ヘッドホンの周波数特性>
ヘッドホンは、用途や好みに応じたチューニングがなされているものが多く、生成した試聴音を忠実に再生するには、個々のヘッドホンの周波数特性をキャンセルしなければならない。そのため、無響室において、ダミーヘッドにヘッドホンを装着し、タブレット端末経由でピンクノイズ(音源ソース)を再生する。
図12には、ピンクノイズとヘッドホンの再生音との1/3オクターブバンドレベルが示されている。平坦な、周波数特性のピンクノイズに対して、使用したヘッドホンの再生音は、周波数ごとに異なり、特に、400Hz~1,000Hz帯域の音が強調される特性となっている。
【0103】
<ヘッドホンの再生可能レベルと線形性>
ピンクノイズのレベルを変えてヘッドホンで再生し、ヘッドホンの再生可能レベルと線形性とを検討する。
図13には、代表例として、1,000Hz帯域の1/3オクターブバンドレベルが示されている。
【0104】
20dB~80dBの範囲において、ヘッドホンで再生できており、ピンクノイズの50dBピッチのレベル変化に応じて線形に変化している。他の周波数帯域においても同様の結果が得られた。20dBまで再生が行えることから、例えば、空間の遮音を検討する際に、音源室において、75dBで発生している音源に対して、空間遮音性能でDr-55までの効果を試聴音として表現できる。ここで、Drは、室間音圧レベル差等級であり、Dr値が大きいほど空間の遮音性能が高く、空気伝搬音が伝わりにくいことを示す。
【0105】
対象とするヘッドホンが対象音加工システム100,600で利用できることを確認後、生成した試聴音を忠実に再生できるように、ピンクノイズ(音源ソース)とヘッドホンの再生音との1/3オクターブバンドレベル差を補正値(第2加工用補正値)として、ヘッドホン固有の音響特性をキャンセルする。
【0106】
≪実建物におけるシステム精度の検証事例≫
<検証概要>
オフィスの室内を利用し、空間遮音性能に関する対象音加工装置110,610による予測計算と試聴音、加工済試聴音の生成精度を検証した。測定室の概要を
図14に示す。
【0107】
会議室と執務室との間の界壁には、乾式二重壁(遮音性能TLD-40)となっている。会議室と執務室との廊下扉は、エアタイトが設置されていない一般的なスチール製親子扉である。会議室を音源室とし、スピーカから対象音(ピンクノイズまたは男性朗読音)を再生した。再生された対象音を対象音加工装置110,610(タブレット端末の内蔵マイクを使用)でそれぞれ収音して、収音された対象音の音源データとした。なお、収音精度検証のため、精密騒音計(RION社製NA-28)でも収音を行った。受音室にはダミーヘッドを設置して会議室からの伝搬音を収音した。また、JIS A1418:2000「建築物の空気音遮断性能の測定方法」における室間音圧レベル差の測定も行った。
【0108】
<予測計算精度>
対象音加工システム100,600による、予測計算精度を確認するために、室間音圧レベル差の予測値と実測値とを比較した。
図15には、オクターブバンドレベルの比較結果が示されている。実測値に対して、予測値は、125Hz帯域~4,000Hz帯域において概ね対応しており、精度よく室間音圧レベル差を予測できている。
【0109】
収音精度が試聴音の生成精度に影響を及ぼすため、対象音加工システム100,600(タブレット内蔵マイク)の収音データと精密騒音計とによる収音データを比較した。精密騒音計の音圧波形と対象音加工システム100,600(タブレット内蔵マイク)で収音した音圧波形(加工済対象音)を
図16に、それぞれの音圧波形のオクターブバンドレベルを
図17に示す。
【0110】
対象音加工システム100,600(タブレット内蔵マイク)で収音した音圧波形の形状や振幅は、ピンクノイズおよび男性朗読音ともに精密騒音計で収音した音圧波形と同波形、同振幅である。オクターブバンドレベルでは、最大1dB程度の誤差であり、普通騒音計と同等の精度で収音できている。
【0111】
<試聴音の精度>
対象音加工システム100,600の収音データに対して予測計算結果を加味した試聴音の音圧波形に対してヘッドホン固有の音響特性をキャンセルする補正処理を行い、加工済試聴音を生成した。
【0112】
試聴音の音圧波形、加工済試聴音(ヘッドホン再生音)の音圧波形、受音室の執務室でダミーヘッドを用いて収音した音圧波形(実測値)を
図18に、それぞれのオクターブバンドレベルを
図19に示した。なお、受音室の暗騒音が
図19に示されているが、男性朗読再生時では、1,000Hz帯域以上の受音室の暗騒音の影響を受けるため評価から除外している。
【0113】
加工済試聴音(ヘッドホン再生音)は、試聴音および実測値の音圧波形とほぼ同形状、同振幅であり、オクターブバンドレベルも同程度である。
【0114】
システムの対象音加工装置110,610で生成した試聴音をヘッドホンで正しく再生できており、加工済試聴音は実際の音を再現できている。
【0115】
以上、実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に制限されず適宜変更可能である。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせた外装容器及び包装箱も、本発明の範疇に含まれる。
【0116】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に供給され、内蔵されたプロセッサによって実行される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるWWW(World Wide Web)サーバも、プログラムを実行するプロセッサも本発明の技術的範囲に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体(non-transitory computer readable medium)は本発明の技術的範囲に含まれる。