特許 7733605 対象音加工装置、対象音加工方法および対象音加工プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-08-26

(45)【発行日】2025-09-03

(54)【発明の名称】対象音加工装置、対象音加工方法および対象音加工プログラム

(51)【国際特許分類】

   G10K 15/00 20060101AFI20250827BHJP

   H04R 3/04 20060101ALI20250827BHJP

   G01C 3/06 20060101ALI20250827BHJP

   E04B 1/82 20060101ALI20250827BHJP

   G06F 16/53 20190101ALI20250827BHJP

   G01H 3/00 20060101ALI20250827BHJP

【ＦＩ】

G10K15/00 M

H04R3/04

G01C3/06 120S

E04B1/82 A

E04B1/82 Z

G06F16/53

G01H3/00 Z

G10K15/00 L

【請求項の数】 11

(21)【出願番号】P 2022056008

(22)【出願日】2022-03-30

(65)【公開番号】P2023148134

(43)【公開日】2023-10-13

【審査請求日】2024-10-07

(73)【特許権者】

【識別番号】000140292

【氏名又は名称】株式会社奥村組

(74)【代理人】

【識別番号】110002170

【氏名又は名称】弁理士法人翔和国際特許事務所

(72)【発明者】

【氏名】柳沼 勝夫

(72)【発明者】

【氏名】稲留 康一

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特開２００１－１３４２７２（ＪＰ，Ａ）

【文献】特開平０９－２５８７５０（ＪＰ，Ａ）

【文献】特開２００１－０６０２１１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ１０Ｋ １５／００

Ｈ０４Ｒ ３／０４

Ｇ０１Ｃ ３／０６

Ｅ０４Ｂ １／８２

Ｇ０６Ｆ １６／５３

Ｇ０１Ｈ ３／００

(57)【特許請求の範囲】

【請求項1】

所定場所において、収音部により収音された対象音、
前記対象音の収音条件、
前記収音部の第１特性に基づいて取得された前記対象音を加工するための第１加工用補正値を用いて、前記対象音を加工した加工済対象音、
前記所定場所において、所定環境下で前記対象音を聴取した場合に、実際に聞こえる音である絶対音を再現する試聴音、
前記試聴音を出力するための出力部の第２特性に基づいて取得された前記試聴音を加工するための第２加工用補正値を用いて、前記試聴音を加工した加工済試聴音、および、
前記所定場所を撮像した所定場所画像、を関連付けて格納する格納部と、
加工済試聴音を試聴したい場所を撮像した試聴場所画像を受け付ける画像受付部と、
受け付けた前記試聴場所画像に類似する前記所定場所画像を前記格納部から探索する探索部と、
探索された前記所定場所画像に関連付けられた加工済試聴音を前記格納部から取得する取得部と、
取得した前記加工済試聴音を制御して前記出力部から出力する出力制御部と、
を備えた対象音加工装置。

【請求項2】

前記所定場所画像および前記試聴場所画像は、同じ縮尺になるように調整された画像である請求項１に記載の対象音加工装置。

【請求項3】

縮尺調整された前記所定場所画像を用いて、音源位置から前記収音部までの距離を推定する距離推定部と、
縮尺調整された前記試聴場所画像を用いて、想定される音源位置から想定される試聴位置までの想定距離を推定する想定距離推定部と、
推定された前記距離および推定された前記想定距離に基づいて、前記探索部により探索された所定場所画像に関連付けられた加工済試聴音を、補正する補正部と、
をさらに有する請求項２に記載の対象音加工装置。

【請求項4】

前記所定場所画像および前記試聴場所画像は、所定時間間隔で撮像された連続画像である請求項１～３のいずれか１項に記載の対象音加工装置。

【請求項5】

前記所定場所画像は、前記対象音の収音中に撮像される請求項１～４のいずれか１項に記載の対象音加工装置。

【請求項6】

前記加工済試聴音は、外部騒音に起因する室内騒音、隣室から伝搬する騒音、建物内外から敷地境界へ伝搬する騒音、空調設備に起因する室内騒音、床衝撃音遮断性能および室内残響時間の少なくともいずれかを含む請求項１～５のいずれか１項に記載の対象音加工装置。

【請求項7】

前記所定場所画像を人工知能に学習させて、学習済み所定場所画像モデルを生成するモデル生成部をさらに備え、
前記探索部は、前記学習済み所定場所画像モデルを用いて、前記試聴場所画像に類似する前記所定場所画像を前記格納部から探索する、請求項１～５のいずれか１項に記載の対象音加工装置。

【請求項8】

前記モデル生成部は、水増しデータとして、左右反転を用いて前記学習済み所定場所画像モデルを生成する請求項７に記載の対象音加工装置。

【請求項9】

前記モデル生成部は、転移学習を用いて前記学習済み所定場所画像モデルを生成する請求項７または８に記載の対象音加工装置。

【請求項10】

所定場所において、収音部により収音された対象音、
前記対象音の収音条件、
前記収音部の第１特性に基づいて取得された前記対象音を加工するための第１加工用補正値を用いて、前記対象音を加工した加工済対象音、
前記所定場所において、所定環境下で前記対象音を聴取した場合に、実際に聞こえる音である絶対音を再現する試聴音、
前記試聴音を出力するための出力部の第２特性に基づいて取得された前記試聴音を加工するための第２加工用補正値を用いて、前記試聴音を加工した加工済試聴音、および、
前記所定場所を撮像した所定場所画像、を関連付けて格納する格納ステップと、
加工済試聴音を試聴したい場所を撮像した試聴場所画像を受け付ける画像受付ステップと、
受け付けた前記試聴場所画像に類似する前記所定場所画像を格納部から探索する探索ステップと、
探索された前記所定場所画像に関連付けられた加工済試聴音を前記格納部から取得する取得ステップと、
取得した前記加工済試聴音を制御して前記出力部から出力する出力制御部と、
を含む対象音加工方法。

【請求項11】

所定場所において、収音部により収音された対象音、
前記対象音の収音条件、
前記収音部の第１特性に基づいて取得された前記対象音を加工するための第１加工用補正値を用いて、前記対象音を加工した加工済対象音、
前記所定場所において、所定環境下で前記対象音を聴取した場合に、実際に聞こえる音である絶対音を再現する試聴音、
前記試聴音を出力するための出力部の第２特性に基づいて取得された前記試聴音を加工するための第２加工用補正値を用いて、前記試聴音を加工した加工済試聴音、および、
前記所定場所を撮像した所定場所画像、を関連付けて格納する格納ステップと、
加工済試聴音を試聴したい場所を撮像した試聴場所画像を受け付ける画像受付ステップと、
受け付けた前記試聴場所画像に類似する前記所定場所画像を格納部から探索する探索ステップと、
探索された前記所定場所画像に関連付けられた加工済試聴音を前記格納部から取得する取得ステップと、
取得した前記加工済試聴音を制御して前記出力部から出力する出力制御部と、
をコンピュータに実行させる対象音加工プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、対象音加工装置、対象音加工方法および対象音加工プログラムに関する。

【背景技術】

【0002】

音の響き方や遮音の程度などは通常、数値で示されることが多く、このような数値に馴染みの薄い一般の人は、具体的な音の聞こえ方をイメージすることは難しい。そのため、例えば、建物の設計仕様から音の響き方や遮音性能などを計算して、騒音などを収音した対象音に予測計算結果を加味した試聴音を生成することが行われている。例えば、特許文献１には、環境騒音（対象音）に対して、受音室内への伝搬経路ごと、例えば、戸境壁直接透過経路、開口部からの迂回伝搬経路、側壁固体伝搬経路などの経路ごとの減衰量を予測し、予測計算した減衰量から求まるインパルス応答波形を環境騒音の音源波形に畳み込み演算して評価音（試聴音）を生成することが開示されている（請求項１等）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００３－１５６３８８号公報

【文献】特許第４３０７６２２号公報

【文献】特許第４２３４２５７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記特許文献１に記載の技術では、試聴音を聞きたい場所において加工の対象となる対象音を収音し、加工して試聴音を生成していたが、収音した場所についての情報を有しないので、場所の情報に基づいて、試聴音を生成できなかった。

【課題を解決するための手段】

【0005】

上記課題を解決するため、本発明に係る対象音加工装置は、
所定場所において、収音部により収音された対象音、
前記対象音の収音条件、
前記収音部の第１特性に基づいて取得された前記対象音を加工するための第１加工用補正値を用いて、前記対象音を加工した加工済対象音、
前記所定場所において、所定環境下で前記対象音を聴取した場合に、実際に聞こえる音である絶対音を再現する試聴音、
前記試聴音を出力するための出力部の第２特性に基づいて取得された前記試聴音を加工するための第２加工用補正値を用いて、前記試聴音を加工した加工済試聴音、および、
前記所定場所を撮像した所定場所画像、を関連付けて格納する格納部と、
加工済試聴音を試聴したい場所を撮像した試聴場所画像を受け付ける画像受付部と、
受け付けた前記試聴場所画像に類似する前記所定場所画像を前記格納部から探索する探索部と、
探索された前記所定場所画像に関連付けられた加工済試聴音を前記格納部から取得する取得部と、
取得した前記加工済試聴音を制御して前記出力部から出力する出力制御部と、
を備えた。

【0006】

また、上記課題を解決するため、本発明に係る対象音加工方法は、
所定場所において、収音部により収音された対象音、
前記対象音の収音条件、
前記収音部の第１特性に基づいて取得された前記対象音を加工するための第１加工用補正値を用いて、前記対象音を加工した加工済対象音、
前記所定場所において、所定環境下で前記対象音を聴取した場合に、実際に聞こえる音である絶対音を再現する試聴音、
前記試聴音を出力するための出力部の第２特性に基づいて取得された前記試聴音を加工するための第２加工用補正値を用いて、前記試聴音を加工した加工済試聴音、および、
前記所定場所を撮像した所定場所画像、を関連付けて格納する格納ステップと、
加工済試聴音を試聴したい場所を撮像した試聴場所画像を受け付ける画像受付ステップと、
受け付けた前記試聴場所画像に類似する前記所定場所画像を格納部から探索する探索ステップと、
探索された前記所定場所画像に関連付けられた加工済試聴音を前記格納部から取得する取得ステップと、
取得した前記加工済試聴音を制御して前記出力部から出力する出力制御部と、
を含む。

【0007】

さらに、上記課題を解決するため、本発明に係る対象音加工プログラムは、
所定場所において、収音部により収音された対象音、
前記対象音の収音条件、
前記収音部の第１特性に基づいて取得された前記対象音を加工するための第１加工用補正値を用いて、前記対象音を加工した加工済対象音、
前記所定場所において、所定環境下で前記対象音を聴取した場合に、実際に聞こえる音である絶対音を再現する試聴音、
前記試聴音を出力するための出力部の第２特性に基づいて取得された前記試聴音を加工するための第２加工用補正値を用いて、前記試聴音を加工した加工済試聴音、および、
前記所定場所を撮像した所定場所画像、を関連付けて格納する格納ステップと、
加工済試聴音を試聴したい場所を撮像した試聴場所画像を受け付ける画像受付ステップと、
受け付けた前記試聴場所画像に類似する前記所定場所画像を格納部から探索する探索ステップと、
探索された前記所定場所画像に関連付けられた加工済試聴音を前記格納部から取得する取得ステップと、
取得した前記加工済試聴音を制御して前記出力部から出力する出力制御部と、
をコンピュータに実行させる。

【発明の効果】

【0008】

本発明によれば、対象音を加工して生成した試聴音と、収音した対象音の収音場所の情報とを関連付けて格納するので、場所の情報に基づいて、試聴音を聴取することができる。

【図面の簡単な説明】

【0009】

【図1A】本発明の第１実施形態に係る対象音加工システムの概要を説明するための図である。

【図1B】本発明の好ましい実施形態に係る対象音加工システムの動作概要を説明するためのシーケンス図である。

【図2】本発明の第１実施形態に係る対象音加工システムの対象音加工システムの構成を説明するためのブロック図である。

【図3A】本発明の第１実施形態に係る対象音加工システムの対象音加工装置が有するマイク補正値テーブルの一例を示す図である。

【図3B】本発明の第１実施形態に係る対象音加工システムの対象音加工装置が有するスピーカ補正値テーブルの一例を示す図である。

【図3C】本発明の第１実施形態に係る対象音加工システムの対象音加工装置が有する対象音画像テーブルの一例を示す図である。

【図3D】本発明の第１実施形態に係る対象音加工システムの対象音加工装置が有する格納データテーブルの一例を示す図である。

【図4】本発明の第１実施形態に係る対象音加工システムの対象音加工装置のハードウェア構成を説明するための図である。

【図5A】本発明の第１実施形態に係る対象音加工システムの対象音加工装置の処理手順を説明するためのフローチャートである。

【図5B】本発明の第１実施形態に係る対象音加工システムの携帯端末の処理手順を説明するためのフローチャートである。

【図6】本発明の第２実施形態に係る対象音加工システムの対象音加工装置の構成を説明するためのブロック図である。

【図7】本発明の第２実施形態に係る対象音加工システムの対象音加工装置が有する補正量テーブルの一例を説明するための図である。

【図8】本発明の第２実施形態に係る対象音加工システムの対象音加工装置のハードウェア構成を説明するための図である。

【図9】本発明の第２実施形態に係る対象音加工システムの対象音加工装置の処理手順を説明するためのフローチャートである。

【図10】収音データの周波数特性を示すグラフである。

【図11】マイクの収音可能レベルと線形性とを示すグラフである。

【図12】ヘッドホン再生音の周波数特性を示すグラフである。

【図13】ヘッドホンの再生可能レベルと線形性とを示すグラフである。

【図14】実験条件の概要を示す図である。

【図15】室間音圧レベル差を示すグラフである。

【図16】会議室（音源室）側の音圧波形を示すグラフである。

【図17】会議室（音源室）側のオクターブバンドレベルを示すグラフである。

【図18】執務室（受音室）側の音圧波形を示すグラフである。

【図19】執務室（受音室）側のオクターブバンドレベルを示すグラフである。

【発明を実施するための形態】

【0010】

以下に、本発明を実施するための形態について、図面を参照して、例示的に詳しく説明する。ただし、以下の実施形態に記載されている、構成、数値、処理の流れ、機能要素などは一例に過ぎず、その変形や変更は自由であって、本発明の技術範囲を以下の記載に限定する趣旨のものではない。

【0011】

［第１実施形態］
本発明の第１実施形態としての対象音加工システム１００について、図１Ａ～図５Ｂを用いて説明する。対象音加工システム１００は、例えば、所定場所において収音した対象音が、建築仕様などにより決まる性能を経て、どのように聞こえるかを評価するために用いられる。図１Ａは、本実施形態に係る対象音加工システム１００の概要を説明するための図である。

【0012】

対象音加工システム１００は、対象音加工装置１１０および携帯端末１２０を含んで構成されている。また、携帯端末１２０には、収音部１３０（マイク）と出力部１４０（スピーカ）とが、携帯端末１２０の外部からケーブルを用いて有線接続されている。なお、収音部１３０と出力部１４０とは、携帯端末１２０と無線接続されていてもよく、さらに、収音部１３０と出力部１４０とは、携帯端末１２０に内蔵されているものを用いてもよい。

【0013】

例えば、携帯端末１２０を所有した作業者やユーザが、携帯端末１２０に接続された収音部１３０（マイク）を用いて、所定場所において、対象音を収音する。ここで、対象音は、例えば、室内の音、屋外の音などが含まれるが、これらには限定されない。また、所定場所は、例えば、戸建て住宅や集合住宅などの建築予定地、既存建物であり、当該所定場所の関係者や購入希望者などが、当該所定場所の音に関する環境を知りたい場所である。

【0014】

まず、所定場所における対象音１３１の収音作業者が、収音部１３０を用いて所定場所の対象音１３１を収音し、収音した対象音１３１を携帯端末１２０へ保存する。そして、収音作業者（または携帯端末１２０の所有者など）が、携帯端末１２０に保存された対象音データを対象音加工装置１１０へ送信する。なお、携帯端末１２０と対象音加工装置１１０とは、無線接続により接続されている。また、対象音加工装置１１０は、クラウド上に設置されたクラウドサーバなどであってもよい。

【0015】

そして、対象音加工装置１１０は、取得した対象音１３１の対象音データに基づいて、所定場所で収音された対象音１３１を加工して、加工済対象音を生成し、生成した加工済対象音から試聴音を生成し、生成した試聴音を加工して加工済試聴音１４１を生成する。そして、対象音加工装置１１０は、例えば、以下の手順に従って、加工済対象音、試聴音、加工済試聴音１４１を生成する。

【0016】

すなわち、対象音加工装置１１０は、取得した対象音１３１の対象音データに基づいて、所定場所で収音された対象音１３１を加工して、加工済試聴音１４１を生成する。なお、携帯端末１２０は、対象音データを対象音加工装置１１０へ送信する際に、携帯端末１２０に接続されている収音部１３０（マイク）および出力部１４０（スピーカ）の特性に関するデータも合わせて送信することが好ましいが、対象音加工装置１１０からの要求に応じる形で送信してもよい。

【0017】

これは、収音部１３０の収音特性により、収音された対象音１３１の一部の周波数成分がカットされたり、出力部１４０の出力特性により、出力される試聴音が実際に聞こえる音と異なる周波数成分を持つ音が出力されたりするためである。そのため、対象音加工システム１００においては、マイクやスピーカの特性をも加味した上で、対象音１３１を加工して加工済対象音、試聴音、加工済試聴音を生成するようになっている。

【0018】

例えば、携帯端末１２０に内蔵された内蔵型のマイクやスピーカは、携帯端末１２０の価格を抑える目的や、携帯端末１２０の筐体内のスペースの問題などから、外付け型のマイクやスピーカと比べて、小型化されており、特定の性能が制限されていたり、特定の機能が削られていたりする場合がある。また、外付け型のマイクやスピーカであっても、使用目的や価格によっては、使用可能な機能が特定の機能に限定されていたり、特定の性能が制限されていたり、これとは反対に特定の機能が強化されていたりする場合がある。そのため、マイクやスピーカには、様々な機能や性能を持ったものが多く存在している。

【0019】

このように、マイクやスピーカなどについて、対象音１３１の収音専用のマイクや、試聴音の出力専用のスピーカを使用していれば、マイクやスピーカごとのばらつきを調整する必要はない。しかしながら、専用のマイクやスピーカを使用しなければならないとすれば、対象音１３１の収音の際には、専用マイクをその都度、所定場所にまで運搬しなければならず、また、試聴音を聴取する場合には、専用スピーカの設置場所まで出向かなければならず、臨機応変、機動的に対応することが困難となる。

【0020】

そのため、対象音加工システム１００においては、各機器の特性等に依存する誤差を解消するために、収音した対象音１３１を加工する各段階において、機器による誤差を解消した絶対音（加工済対象音、試聴音、加工済試聴音１４１）を生成し、これらの絶対音を加工することにより、現実の音と変わらない音を再現して、聴取者（ユーザ）が体験できるようにしている。

【0021】

よって、対象音加工システム１００においては、収音した対象音１３１の対象音データと所定場所画像１６０とともに、収音部１３０（マイク）の特性と、出力部１４０（スピーカ）の特性とを対象音加工装置１１０に送信する。あるいは、収音部１３０および出力部１４０の特性を対象音１３１と所定場所画像１６０とは、別個に対象音加工装置１１０に送信してもよく、例えば、対象音１３１と所定場所画像１６０との送信前に送信しても、これらの送信後に送信してもよい。対象音加工装置１１０は、取得した対象音データについて、収音した収音部１３０の特性に応じた補正値を用いて加工して、加工済対象音を生成する。次に、対象音加工装置１１０は、生成した加工済対象音から、所定場所において、所定環境下で対象音１３１を聴取した場合に、実際に聞こえる音を再現する試聴音を生成する。

【0022】

対象音加工装置１１０は、例えば、仮想空間上に所定環境（建物など）を再現し、収音した対象音１３１のデータを用いて、当該所定環境下における、音響効果を予測して、試聴音を生成する。対象音加工装置１１０は、生成した試聴音を、出力部１４０の特性に応じた補正値を用いて加工し、加工済試聴音１４１を生成する。このように、出力部１４０の特性に基づいた補正値を用いて試聴音を加工することで、専用スピーカを用いなくても、出力部１４０において、実際に聞こえる音を確実に再現することが可能となる。なお、加工済試聴音１４１の試聴結果に基づいて、試聴音を再度生成するようにしてもよい。このように、試聴音を再度生成することにより、様々な環境下における試聴音を再現できるので、例えば、窓の面積や遮音性能のグレードを変更することにより、様々な環境下における試聴音をシミュレートすることが可能となる。

【0023】

ここで、所定環境には、例えば、対象音１３１を収音した所定場所における建設予定の集合住宅や戸建住宅などの建物が含まれ、これらの建物の室内やベランダ等の室外なども含まれる。さらに、所定環境には、当該建物の壁の位置や面積、遮音性能（音響透過損失）、建物に取り付けられる窓の位置、面積、遮音性能（音響透過損失）、給気口の面積、数、遮音性能（基準化音響透過損失）、室内の表面積、吸音性能（吸音力）など、当該建物の住環境等を実現する様々な要因が含まれてもよい。

【0024】

そして、対象音加工装置１１０は、生成した加工済試聴音１４１、対象音１３１、収音条件、加工済対象音、試聴音および所定場所画像１６０を関連付けて格納する。例えば、ユーザが、加工済試聴音１４１を試聴したい場所を撮像した試聴場所画像１５１を対象音加工装置１１０へ送信すると、対象音加工装置１１０において、試聴場所画像１５１に類似する所定場所画像１６０を探し出す。

【0025】

試聴場所画像１５１に類似する所定場所画像１６０を探し出すと、対象音加工装置１１０は、探し出した所定場所画像１６０に関連付けられている加工済試聴音１４１を取得し、出力部１４０から出力させる。これにより、ユーザは、自身が加工済試聴音１４１を試聴したい場所で、加工済試聴音１４１を試聴することができるようになる。また、対象音加工装置１１０においては、生成した加工済試聴音１４１を予め格納しているので、対象音１３１から加工済試聴音１４１を生成する時間などが不要となり、ユーザに対して、迅速に加工済試聴音１４１を提供することができるようになる。

【0026】

図１Ｂを参照して、対象音加工システム１００の動作概要について説明する。ステップＳ１０１において、収音部１３０により対象音１３１を収音する。ステップＳ１０３において、収音部１３０から携帯端末１２０へ、収音した対象音１３１を送信する。収音部１３０により収音される対象音１３１は、例えば、アナログデータとなっている。

【0027】

そして、ステップＳ１０５において、携帯端末１２０に付属するカメラなどを用いて、対象音１３１を収音した場所である所定場所を撮像して、所定場所画像を取得する。ステップＳ１０７において、携帯端末１２０は、取得した対象音１３１をデジタル変換した対象音データと所定場所画像データとを対象音加工装置１１０へ送信する。なお、所定場所画像１６０は、デジタルカメラなどで撮像されることにより、予めデジタルデータとなっている。

【0028】

そして、ステップＳ１０９において、対象音加工装置１１０は、第１加工用補正値を用いて、対象音１３１を加工した加工済対象音を生成する。また、対象音加工装置１１０は、加工済対象音を加工して、所定場所において、所定環境下で対象音１３１を聴取した場合に、実際に聞こえる音である絶対音を再現する試聴音を生成する。さらに、対象音加工装置１１０は、第２加工用補正値を用いて、生成した試聴音を加工した加工済試聴音を生成する。そして、対象音加工装置１１０は、対象音１３１の収音条件、加工済対象音、試聴音、加工済試聴音および所定場所画像を関連付けて格納する。

【0029】

ステップＳ１１１において、例えば、携帯端末１２０は、ユーザが、所定場所とは異なる場所であって、試聴音を試聴したい場所である試聴場所をカメラ１５０で撮像して得られた試聴場所画像１５１を対象音加工装置１１０へ送信する。ステップＳ１１３において、対象音加工装置１１０は、受信した試聴場所画像１５１と類似する所定場所画像１６０を探索し、所定場所画像１６０に関連付けられた加工済試聴音を取得する。

【0030】

ステップＳ１１５において、取得した加工済試聴音を携帯端末１２０（出力部１４０）へ送信する。ステップＳ１１７において、出力部１４０は、受信した加工済試聴音を出力する。ここで、収音部１３０および出力部１４０は、携帯端末１２０に内蔵されていてもよい。また、対象音１３１のデジタル変換は、対象音加工装置１１０において行ってもよい。なお、所定場所画像１６０と試聴場所画像１５１とは、同じ縮尺になるように調整された画像となっていてもよい。このように、画像の縮尺を統一しておくことにより、試聴場所画像１５１に類似する所定場所画像１６０の探索に要する時間を短縮でき、さらに、探索の精度を向上させることができる。また、試聴場所画像１５１と所定場所画像１６０との撮像条件を統一しておいてもよい。さらに、試聴場所画像１５１と所定場所画像１６０とは、所定時間間隔で撮像された連続画像であってもよい。さらにまた、所定場所画像１６０は、対象音１３１の収音中に撮像してもよい。

【0031】

＜対象音加工装置１１０の構成＞
次に図２を参照して、対象音加工装置１１０の構成について説明する。対象音加工装置１１０は、格納部２１１、画像受付部２１２、探索部２１３、取得部２１４および出力制御部２１５を有する。

【0032】

格納部２１１は、対象音、収音条件、加工済対象音、試聴音、加工済試聴音および所定場所を撮像した所定場所画像を関連付けて格納する。ここで、対象音は、例えば、例えば、携帯端末１２０を所有した作業者やユーザ（収音作業者）が、携帯端末１２０に接続された収音部１３０（マイク）を用いて、所定場所において、収音された音である。対象音は、例えば、室内の音、屋外の音などが含まれるが、これらには限定されない。また、所定場所は、例えば、戸建て住宅や集合住宅などの建築予定地、商業施設やオフィスビル、道路、鉄道施設、空港、発電所、工場などの建設予定地、既存建物などであり、当該所定場所の関係者や購入希望者などが、当該所定場所の音に関する環境を知りたい場所である。

【0033】

まず、対象音加工装置１１０は、収音部１３０の第１特性を取得する。収音部１３０の第１特性は、対象音１３１を収音した際の諸々の条件であり、例えば、収音部１３０（マイク）の周波数特性などの機械特性や、収音部１３０に組み込まれているソフトウェアの特徴、所定場所の気温、湿度、風向、風量などの環境特性を含むものであるがこれらには限定されない。

【0034】

対象音加工装置１１０は、取得した第１特性に基づいて、対象音１３１を加工するための第１加工用補正値を取得し、取得した第１加工用補正値を用いて、対象音１３１を加工して加工済対象音を生成する。対象音加工装置１１０は、例えば、内部ストレージや外図ストレージに格納されている第１加工用補正値を取得する。第１加工用補正値は、対象音１３１に対して、取得した第１特性に応じた加工を施すための補正値である。

【0035】

そして、対象音加工装置１１０は、取得した第１加工用補正値を用いて、対象音１３１（対象音データ）を加工して加工済対象音を生成する。対象音加工装置１１０は、例えば、特定の周波数成分をキャンセルなどして、対象音データを加工して、加工済対象王音を得る。

【0036】

次に、対象音加工装置１１０は、例えば、所定場所、あるいは、所定場所とは異なる場所において、所定環境下で、対象音１３１を聴取した場合に、実際に聞こえる音である絶対音を再現する試聴音を、生成された加工済対象音を加工して生成する。ここで、所定環境は、例えば、対象音１３１を収音した所定場所における建設予定の集合住宅や戸建住宅などの建物であり、これらの建物の室内やベランダ等の室外などを含む。さらに、所定環境には、当該建物の壁の位置や面積、遮音性能（音響透過損失）、建物に取り付けられる窓の位置、面積、遮音性能（音響透過喪失）、給気口の面積、数、遮音性能（基準化音響透過損失）、室内の表面積、吸音性能（吸音力）、周辺建物からの音の反射など、当該建物の住環境等を実現する様々な要因が含まれてもよい。

【0037】

また、生成される試聴音は、例えば、（１）外部騒音に起因する室内騒音、（２）空間遮音性能（隣室から伝搬する騒音）、（３）建物内外から敷地境界へ伝搬する騒音、（４）空調設備に起因する室内静ひつ性能、（５）床衝撃音遮断性能（床衝撃音）、（６）室内残響時間（音の響き）である。

【0038】

具体的には、（１）は、外部に鉄道などの騒音源がある場合に、その音が室内においてどのように聞こえるかについての音である。（２）は、ある部屋にＴＶや会議の音などの騒音源がある場合に、その音が隣室においてどのように聞こえるかについての音である。（３）は、建物敷地内（建物内や建物外）にある設備機械や作業音などの騒音源が敷地境界や近隣に対してどのように聞こえるかの音である。（４）は、エアコンや全熱交換器などの室内の空調設備が騒音源である場合に、室内の静粛性がどのように変化するか、あるいは、室内において空調設備の音がどのように聞こえるかについての音である。（５）は、上階の部屋からの飛び跳ねや走り回り音などが下階の部屋でどのように聞こえるかについての音である。（６）は、室内で会議や講演などをする場面で話し声や音響機器からの音が、当該室内においてどのように響いて聞こえるかについての音である。

【0039】

そして、対象音加工装置１１０は、生成された試聴音を出力するための出力部１４０の第２特性を取得する。第２特性は、生成された試聴音を出力するための出力部１４０（スピーカ）の出力条件などであり、例えば、出力部１４０の機械特性や、出力部１４０に組み込まれているソフトウェアの特徴や出力場所の環境特性などを含むものであるが、これらには限定されない。そして、対象音加工装置１１０は、出力される可能性のある出力部１４０の全てについての第２特性を取得する。

【0040】

対象音加工装置１１０は、取得した第２特性に基づいて、試聴音を加工するための第２加工用補正値を取得し、取得した第２加工用補正値を用いて、試聴音を加工して加工済試聴音１４１を生成する。対象音加工装置１１０は、取得した第２特性が複数ある場合には、これに応じて、複数の第２加工用補正値を取得する。すなわち、対象音加工装置１１０は、出力される可能性のある出力部１４０の全てについての第２加工用補正値を取得することとなる。そして、対象音加工装置１１０は、取得した第２加工用補正値が複数ある場合には、複数の加工済試聴音１４１を生成する。

【0041】

そして、対象音加工装置１１０は、生成した加工済試聴音１４１などと所定場所を撮像した所定場所画像１６０とを関連付けて格納する。ここで、所定場所画像１６０は、カメラなどで撮像される。カメラは、スマートフォンやタブレット端末などの携帯端末１２０に内蔵されているものや、カメラとして単独で存在しているもの、いずれを用いてもよい。撮像された所定場所画像１６０は、デジタルデータとして、カメラの内部ストレージや外部ストレージなどに保存される。

【0042】

以上のようにして、格納部２１１に格納された、加工済試聴音１４１や所定場所画像１６０などは、対象音加工装置１１０において、以下のようにして利用される。

【0043】

画像受付部２１２は、所定場所において、所定環境下で対象音１３１を試聴した場合に、実際に聞こえる音である絶対音を再現する試聴音を試聴したい場所であって、当該所定場所とは異なる場所を撮像した試聴場所画像１５１を受け付ける。試聴場所画像１５１は、例えば、カメラ１５０を用いて撮像される。

【0044】

なお、所定場所画像１６０と試聴場所画像１５１とは、同じ縮尺となるように調整された画像となっている。縮尺の調整は、例えば、所定場所画像１６０および試聴場所画像１５１を撮像する段階で、撮像条件（画角等）を揃えて撮像してもよいし、あるいは、所定場所画像１６０と試聴場所画像１５１を撮像した後に、レンダリングソフト等を用いて縮尺を調整してもよい。このように、所定場所画像１６０と試聴場所画像１５１との縮尺が同じになるように予め調整しておくと、次の、探索部２１３による探索速度や探索精度などを向上させることができる。

【0045】

探索部２１３は、受け付けた試聴場所画像１５１に類似する所定場所画像１６０を格納部２１１から探索する。探索部２１３は、例えば、試聴場所画像１５１と所定場所画像１６０との一致度に基づいて、試聴場所画像１５１に類似する所定場所画像１６０を格納部２１１から探索する。探索部２１３は、例えば、両画像の特徴点を抽出し、抽出された特徴点のうち一致する特徴点の数に基づいて、試聴場所画像１５１に類似する所定場所画像１６０を探索してもよい。

【0046】

また、探索部２１３は、所定場所を撮像した所定場所画像１６０を人工知能（ＡＩ：Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）に入力して、機械学習させてもよい。人工知能による機械学習が終了すると、探索部２１３は、学習済み所定場所画像モデルを生成する。なお、探索部２１３は、生成した学習済み所定場所画像モデルを所定のストレージ等に保存しておいてもよい。この場合、新たな学習用画像を取得して、機械学習を行い、学習済み初手場所画像モデルを生成するたびに、保存された学習済み所定場所画像モデルを更新するようにしてもよい。

【0047】

人工知能による機械学習は、既知のアルゴリズムを用いて行われる。機械学習においては、損失関数は、重み指定を行い、事象数の逆数を採用する。また、探索部２１３は、人工知能による機械学習の精度を向上させて、より精度の高い類似画像探索用のモデルを生成するために、人工知能に学習させる所定場所画像の数を水増しする。探索部２１３は、例えば、左右反転を用いて水増しデータを得る。さらに、探索部２１３は、人工知能による機械学習の精度を向上させるために、転移学習を用いてもよい。ここで、転移学習とは、異なるデータセットを用いて学習済みモデルを、別の問題に転用し、部分的な学習をすることで、モデルの性能向上を狙う手法である。特に、教師データが十分でない場合に、推論性能の向上と学習時間の低減が期待できる手法でもある。

【0048】

取得部２１４は、探索された所定場所画像１６０に関連付けられた加工済試聴音１４１を取得する。格納部２１１には、取得した対象音１３１に基づいて、予め生成された加工済試聴音１４１が所定場所画像１６０に関連付けられて格納されている。また、所定場所画像１６０には、さらに、収音条件、加工済対象音および試聴音などが関連付けられて格納されている。

【0049】

出力制御部２１５は、生成された加工済試聴音１４１を制御して出力部１４０から出力する。例えば、出力制御部２１５は、生成された加工済試聴音１４１を携帯端末１２０へ送信して、出力部１４０から加工済試聴音１４１を出力する。また、出力制御部２１５は、生成された加工済試聴音１４１を出力部１４へ直接送信することにより、加工済試聴音１４１を出力部１４０から出力するようにしてもよい。

【0050】

＜携帯端末１２０の構成＞
次に図２を参照して、携帯端末１２０の構成について説明する。携帯端末１２０は、取得部２２１、送信部２２２、受信部２２３および出力制御部２２４を有する。なお、収音部１３０および出力部１４０は、携帯端末１２０に内蔵されていてもよい。

【0051】

取得部２２１は、所定場所において、収音部１３０（マイク）により収音された対象音１３１を取得する。ここで、対象音１３１は、室内の音および屋外の音の少なくとも１つが含まれる。取得された対象音１３１のデータは、アナログデータとなっているが、例えば、収音部１３０が、ＡＤコンバータを有していれば、収音部１３０において、収音した対象音１３１のアナログデータをデジタルデータに変換してもよい。また、収音部１３０が、ＡＤコンバータを有していない場合、携帯端末１２０が有するＡＤコンバータを用いて、デジタルデータに変換してもよい。さらに、収音部１３０および携帯端末１２０ともにＡＤコンバータを有していない場合、対象音加工装置１１０が有するＡＤコンバータにおいて、収音した対象音１３１のアナログデータをデジタルデータに変換してもよい。

【0052】

送信部２２２は、取得した対象音１３１のデータを対象音加工装置１１０へ送信する。対象音加工装置１１０へ送信される対象音１３１のデータは、アナログデータであっても、デジタルデータであってもよい。

【0053】

受信部２２３は、対象音加工装置１１０から送信された加工済試聴音１４１を受信する。受信される加工済試聴音１４１のデータは、デジタルデータとなっている。

【0054】

出力制御部２２４は、受信した加工済試聴音１４１を制御して出力部１４０から出力する。出力制御部２２４は、受信した加工済試聴音１４１のデジタルデータを、アナログデータに変換して、出力部１４０へ送り、出力部１４０において、加工済試聴音１４１のアナログデータを再生するように制御する。なお、上述したように、対象音加工装置１１０の出力制御部２１５から出力部１４０に対して、加工済対象音を直接送信して、出力するようにしてもよい。

【0055】

次に、図３Ａを参照して、対象音加工装置１１０が有するマイク補正値テーブル３０１の一例について説明する。マイク補正値テーブル３０１は、マイクＩＤ（Ｉｄｅｎｔｉｆｉｅｒ）３１１に関連付けて特性３１２および補正値３１３を記憶する。マイクＩＤ３１１は、対象音１３１を収音可能なマイクを識別するための識別子である。特性３１２は、マイクの特性を示し、周波数特性および収音可能レベルを含む。補正値３１３は、周波数補正値およびレベル補正値を含む。そして、対象音加工装置１１０は、マイク補正値テーブル３０１を参照して、マイク（収音部１３０）の特性に応じた補正値を抽出し、受信した対象音１３１を加工する。

【0056】

図３Ｂを参照して、対象音加工装置１１０が有するスピーカ補正値テーブル３０２の一例について説明する。スピーカ補正値テーブル３０２は、スピーカＩＤ３２１に関連付けて特性３２２および補正値３２３を記憶する。スピーカＩＤ３２１は、対象音加工装置１１０から送信された加工済試聴音１４１を出力可能なスピーカを識別するための識別子である。特性３２２は、スピーカの特性を示し、周波数特性および出力可能レベルを含む。補正値３２３は、周波数補正値およびレベル補正値を含む。そして、対象音加工装置１１１０は、スピーカ補正値テーブル３０２を参照して、スピーカ（出力部１４０）の特性に応じた補正値を抽出し、生成した試聴音を加工する。

【0057】

図３Ｃを参照して、対象音加工装置１１０が有する対象音画像テーブル３０３の一例について説明する。対象音画像テーブル３０３は、対象音ＩＤ３３１に関連付けて画像３３２、場所３３３、収音／撮像条件３３４を記憶する。対象音ＩＤ３３１は、収音部１３０により収音された対象音１３１のそれぞれを識別するための識別子である。画像３３２は、収音された対象音１３１に関連付けられて格納されている画像であり、対象音１３１を収音した場所を撮像した画像である。場所３３３は、対象音１３１を収音した場所を示す座標データであり、１つの場所に対して、複数の対象音１３１や画像が対応していることもある。収音／撮像条件３３４は、対象音１３１を収音した際の収音条件と収音場所の画像を撮像した際の撮像条件であり、被写体からの距離や露光時間、天候、気温などが含まれる。

【0058】

図３Ｄを参照して、対象音加工装置１１０が有する格納データテーブル３０４の一例について説明する。格納データテーブル３０４は、対象音ＩＤ３３１に関連付けて加工済対象音３４１、試聴音３４２および加工済試聴音３４３を記憶する。加工済対象音３４１は、対象音１３１を第１加工用補正値により加工した音のデータである。試聴音３４２は、加工済対象音を加工して生成される音のデータである。加工済試聴音３４３は、生成した試聴音を第２加工用補正値により加工して生成される音のデータである。

【0059】

そして、対象音加工装置１１０は、これらのテーブル３０１，３０２，３０３，３０４を参照して、試聴場所画像１５１に類似する所定場所画像に関連付けられた加工済試聴音１４１を探索する。

【0060】

図４を参照して、対象音加工装置１１０のハードウェア構成について説明する。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）４１０は、演算制御用のプロセッサであり、プログラムを実行することで図２の対象音加工装置１１０の各機能構成を実現する。ＣＰＵ４１０は複数のプロセッサを有し、異なるプログラムやモジュール、タスク、スレッドなどを並行して実行してもよい。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）４２０は、初期データおよびプログラムなどの固定データおよびその他のプログラムを記憶する。また、ネットワークインタフェース４３０は、ネットワークを介して他の装置などと通信する。なお、ＣＰＵ４１０は１つに限定されず、複数のＣＰＵであっても、あるいは画像処理用のＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含んでもよい。また、ネットワークインタフェース４３０は、ＶＰＵ４１０とは独立したＣＰＵを有して、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）４４０の領域に送受信データを書き込みあるいは読み出しするのが望ましい。また、ＲＡＭ４４０とストレージ４５０との間でデータを転送するＤＭＡＣ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌｌｅｒ）を設けるのが望ましい（図示なし）。さらに、ＣＰＵ４１０は、ＲＡＭ４４０にデータが受信あるいは転送されたことを認識してデータを処理する。また、ＣＰＵ４１０は、処理結果をＲＡＭ４４０に準備し、後の送信あるいは転送はネットワークインタフェース４３０やＤＭＡＣに任せる。

【0061】

ＲＡＭ４４０は、ＣＰＵ４１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ４４０には、本実施形態の実現に必要なデータを記憶する記憶領域が確保されている。試聴場所画像データ４４１は、加工済試聴音１４１を試聴したい場所を撮像した画像データである。所定場所画像データ４４２は、対象音１３１を収音した場所を撮像した画像データである。加工済試聴音データ４４３は、収音した対象音１３１を加工して得られる試聴音データであり、出力部１４０から出力される試聴音データである。

【0062】

送受信データ４４４は、ネットワークインタフェース４３０を介して送受信されるデータである。また、ＲＡＭ４４０は、各種アプリケーションを実行するためのアプリケーション実行領域４４５を有する。

【0063】

ストレージ４５０には、データベースや各種パラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ４５０は、マイク補正値テーブル３０１、スピーカ補正値テーブル３０２、対象音画像テーブル３０３および格納データテーブル３０４を格納する。マイク補正値テーブル３０１は、図３Ａに示した、マイクＩＤ３１１と補正値３１３などとの関係を管理するテーブルである。スピーカ補正値テーブル３０２は、図３Ｂに示した、スピーカＩＤ３２１と補正値３２３などとの関係を管理するテーブルである。対象音画像テーブル３０３は、図３Ｃに示した、対象音ＩＤ３３１と画像３３２などとの関係を管理するテーブルである。格納データテーブル３０４は、図３Ｄに示した、対象音ＩＤ３３１と加工済試聴音３４３などとの関係を管理するテーブルである。

【0064】

ストレージ４５０は、さらに、画像受付モジュール４５１、探索モジュール４５２、取得モジュール４５３および出力制御モジュール４５４を格納する。画像受付モジュール４５１は、加工済試聴音１４１を試聴したい場所を撮像した試聴場所画像１５１受け付けるモジュールである。探索モジュール４５２は、受け付けた試聴場所画像１５１に類似する所定場所画像１６０を格納部２１１から探索するモジュールである。取得モジュール４５３は、探索された所定場所画像１６０に関連付けられた加工済試聴音１４１を取得するモジュールである。出力制御モジュール４５４は、取得した加工済試聴音１４１を制御して出力部１４０から出力するモジュールである。これらのモジュール４５１～４５４は、ＣＰＵ４１０によりＲＡＭ４４０のアプリケーション実行領域４４５に読み出され、実行される。制御プログラム４５５は、対象音加工装置１１０の全体を制御するためのプログラムである。

【0065】

入出力インタフェース４６０は、入出力機器との入出力データをインタフェースする。入出力インタフェース４６０には、表示部４６１、操作部４６２が接続される。また、入出力インタフェース４６０には、さらに、記憶媒体４６４が接続されてもよい。さらに、音声出力部であるスピーカ４６３や、音声入力部であるマイク（図示せず）、あるいは、ＧＰＳ位置判定部が接続されてもよい。なお、図４に示したＲＡＭ４４０やストレージ４５０には、対象音加工装置１１０が有する汎用の機能や他の実現可能な機能に関するプログラムやデータは図示されていない。

【0066】

次に図５Ａに示したフローチャートを参照して、対象音加工装置１１０の処理手順について説明する。このフローチャートは、図４のＣＰＵ４１０がＲＡＭ４４０を使用して実行し、図２の対象音加工装置１１０の各機能構成を実現する。

【0067】

ステップＳ５０１において、格納部２１１は、収音された対象音１３１、収音条件、加工済対象音、試聴音、加工済試聴音１４１および所定場所画像１６０を関連付けて格納する。ステップＳ５０３において、画像受付部２１２は、加工済試聴音１４１を試聴した場所を撮像した試聴場所画像１５１を受け付ける。ステップＳ５０５において、探索部２１３は、受け付けた試聴場所画像１５１に類似する所定場所画像１６０を格納部２１１から探索する。探索の方法は、例えば、所定場所画像１６０と試聴場所画像１５１との一致度に基づいて行われる。

【0068】

ステップＳ５０７において、探索部２１３は、試聴場所画像１５１に類似する所定場所画像１６０が探索できたか否かを判断する。探索できなかったと判断した場合（ステップＳ５０７のＮＯ）、対象音加工装置１１０は、処理を終了する。探索できたと判断した場合（ステップＳ５０７のＹＥＳ）、対象音加工装置１１０は、次のステップへ進む。

【0069】

ステップＳ５０９において、取得部２１４は、探索された所定場所画像１６０に関連付けられている加工済試聴音１４１を取得する。ステップＳ５１１において、出力制御部２１５は、取得した加工済試聴音１４１を制御して出力部１４０から出力する。

【0070】

次に図５Ｂに示したフローチャートを参照して、携帯端末１２０の処理手順について説明する。このフローチャートは、不図示のＣＰＵが不図示のＲＡＭを使用して実行し、図２の携帯端末１２０の各機能構成を実現する。

【0071】

ステップＳ５３１において、携帯端末１２０は、収音部１３０により収音された対象音１３１を取得する。ここで、携帯端末１２０は、取得した対象音１３１をデジタル変換してもよい。ステップＳ５３３において、携帯端末１２０は、取得した対象音１３１のデータを対象音加工装置１１０へ送信する。ステップＳ５３５において、携帯端末１２０は、対象音加工装置１１０から加工済試聴音１４１を受信する。受信した加工済試聴音１４１は、出力部１４０から出力される。

【0072】

本実施形態によれば、対象音を加工して生成した加工済試聴音と、当該対象音を収音した場所の情報とを関連付けて格納するので、場所の情報に基づいて、試聴音を聴取することができる。また、予め加工済試聴音を生成し格納しているので、加工済試聴音をその都度生成する必要がなく、ユーザに対して、より短時間で、加工済試聴音を聴取させることが可能となる。さらに、予め加工済試聴音を生成し格納しているの、その都度加工済試聴音を生成した、加工し直したりする手間を省けるので、同様に、ユーザに対して、より短時間で、加工済試聴音を聴取させることが可能となる。

【0073】

［第２実施形態］
次に本発明の第２実施形態に係る対象音加工システム６００について、図６～図９を用いて説明する。図６は、本実施形態に係る対象音加工システム６００の構成を説明するためのブロック図である。本実施形態に係る対象音加工システム６００においては、対象音加工装置６１０が、上記第１実施形態の対象音加工システム１００の対象音加工装置１１０と比べると、距離推定部、想定距離推定部および補正部を有する点で異なる。その他の構成および動作は第１実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。

【0074】

上記第１実施形態では、対象音加工装置１１０は、収音した対象音１３１について、加工済試聴音１４１を予め生成し、対象音１３１を収音した場所を撮像した所定場所画像１６０と関連付けて格納する。そして、対象音加工装置１１０は、試聴場所画像１５１と類似する所定場所画像１６０を探索し、探索された所定場所画像１６０に関連付けられた加工済試聴音１４１を出力部１４０から出力させる。

【0075】

ここで、ユーザが、加工済試聴音１４１を試聴したい場所で撮像した試聴場所画像１５１は、所定場所画像１６０と比較した際に、音源からの距離が必ずしも一致しない。すなわち、音源からの距離が異なっている場合、音源からの距離により、試聴場所における音の聞こえ方が異なってくる。例えば、音源から遠ざかれば遠ざかるほど、音源から試聴場所に届く音が減衰等するため、聞こえ方が変化する。

【0076】

そのため、本実施形態においては、必ずしも、同じ距離で試聴場所画像１５１を撮像することができない場合であっても、予め生成しておいた加工済試聴音１４１を音源位置からの距離に応じた補正量で補正する。これにより、本実施形態においては、音源からの距離が異なっている場合であっても、加工済試聴音１４１の聞こえ方を調整することができるようになっている。

【0077】

対象音加工装置６１０は、さらに、距離推定部６１１、想定距離推定部６１２および補正部６１３を有する。距離推定部６１１は、縮尺調整された所定場所画像１６０を用いて、音源位置から収音部１３０までの距離を推定する。所定場所画像１６０は、縮尺調整されているので、距離推定部６１１は、例えば、画像中の音源などの被写体の大きさなどに基づいて、音源位置から収音部１３０までの距離を推定する。あるいは、所定場所画像１６０に距離推定の際に目印となる物体を写し込んでおき、この物体と音源などの被写体との大小関係などを利用して、音源と収音部１３０との間の距離を推定してもよい。

【0078】

想定距離推定部６１２は、縮尺調整された試聴場所画像１５１を用いて、想定される音源位置から想定される試聴位置までの想定距離を推定する。試聴場所画像１５１は、縮尺調整されているので、想定距離推定部６１２は、距離推定部６１１と同様に、例えば、画像中の音源などの被写体の大きさなどに基づいて、音源位置から想定される試聴位置までの想定距離を推定する。なお、想定される試聴位置には、想定距離を推定する際に目印となるような物体を配置してもよい。

【0079】

補正部６１３は、推定された距離および推定された想定距離に基づいて、探索部２１３により探索された所定場所画像１６０に関連付けられた加工済試聴音１４１を、補正する。補正部６１３は、例えば、距離推定部６１１により推定された距離に応じて、例えば、加工済試聴音１４１の音量や音程などを補正する。補正部６１３により補正されるパラメータは、音量や音程などには限定されない。

【0080】

次に、図７を参照して、対象音加工装置６１０が有する補正量テーブル７０１の一例について説明する。補正量テーブル７０１は、推定距離７１１に関連付けて想定距離７１２および補正量７１３を記憶する。推定距離７１１は、距離推定部６１１により推定された距離である。想定距離７１２は、想定距離推定部６１２により推定された距離である。補正量７１３は、推定距離７１１と想定距離７１２との関係に応じて、加工済試聴音１４１の補正するためのパラメータの補正値である。補正量７１３には、周波数補正値やレベル補正値などが含まれる。そして、補正部６１３は、補正量テーブル７０１を参照して、加工済試聴音を補正する。

【0081】

図７を参照して、対象音加工装置６１０のハードウェア構成について説明する。ＲＡＭ８４０は、ＣＰＵ４１０が一時記憶のワークエリアとして使用するランダムアクセスメモリである。ＲＡＭ８４０には、本実施形態の実現に必要なデータを記憶する記憶領域が確保されている。推定距離データ８４１は、所定場所画像１６０において、音源位置から収音部１３０までの推定される距離のデータである。想定距離８４２は、試聴場所画像１５１において、想定される音源位置から想定される試聴位置までの想定される距離のデータである。補正量データ８４３は、推定距離と想定距離とに応じた、加工済試聴音１４１を補正すべき量に関するデータである。

【0082】

ストレージ８５０には、データベースや各種パラメータ、あるいは本実施形態の実現に必要な以下のデータまたはプログラムが記憶されている。ストレージ８５０は、補正量テーブル７０１を格納する。補正量テーブル７０１は、図７に示した推定距離７１１と補正量７１３などとの関係を管理するテーブルである。

【0083】

ストレージ８５０は、さらに、距離推定モジュール８５１、想定距離推定モジュール８５２および補正モジュール８５３を格納する。距離推定モジュール８５１は、所定場所画像１６０を用いて、音源位置から収音部１３０までの距離を推定するモジュールである。想定距離推定モジュール８５２は、試聴場所画像１５１を用いて、想定される音源位置から想定される試聴位置までの想定距離を推定するモジュールである。補正モジュール８５３は、推定距離および想定距離に基づいて、探索部２１３により探索された所定場所画像１６０に関連付けられた加工済試聴音１４１を補正するモジュールである。これらのモジュール８５１～８５３は、ＣＰＵ４１０によりＲＡＭ８４０のアプリケーション実行領域４４５に読み出され、実行される。

【0084】

次に図９に示したフローチャートを参照して、対象音加工装置６１０の処理手順について説明する。このフローチャートは、図８のＣＰＵ４１０がＲＡＭ８４０を使用して実行し、図６の対象音加工装置６１０の各機能構成を実現する。

【0085】

ステップＳ９０１において、距離推定部６１１は、所定場所画像１６０を取得して、音源位置から収音部１３０までの距離を推定する。ステップＳ９０３において、想定距離推定部６１２は、試聴場所画像１５１を用いて、想定される音源位置から想定される試聴位置までの想定距離を推定する。ステップＳ９０５において、補正部６１３は、推定された距離および推定された想定距離に基づいて、探索部２１３により探索された所定場所画像１６０に関連付けられた加工済試聴音を補正する。

【0086】

本実施形態によれば、想定距離と推定距離とに基づいて加工済試聴音を補正するので、所定場所画像と試聴場所画像とが、同じ撮像条件で撮像されていない場合であっても、実際に聞こえる音を再現させることができる。

【0087】

［実施例］
次に、図１０～図１９を参照して本発明の実施例について説明する。なお、本発明の範囲は以下の実施例には限定されない。

【0088】

対象音加工システム１００，６００の対象音加工装置１１０，６１０において、生成される試聴音は、［表１］に示した６項目（（ａ）～（ｆ））である。すなわち、（ａ）外部騒音に起因する室内騒音、（ｂ）室間遮音性能（隣室から伝搬する騒音）、（ｃ）建物内外から敷地境界へ伝搬する騒音、（ｄ）空調設備に起因する室内騒音、（ｅ）床衝撃音遮断性能（床衝撃音）、（ｆ）室内残響時間（音の響き）の６項目である。

【0089】

【表1】

【0090】

６項目それぞれの具体例については、例えば、（ａ）交通騒音（道路交通騒音、鉄道騒音など）、（ｂ）会議室の話声やホテルのテレビ音などの空気伝搬音、（ｃ）屋外設備機械、室内設備機械、（ｄ）室内の空調設備、（ｅ）床衝撃音（重量床衝撃音・軽量床衝撃音）、（ｆ）会議室の話声、教室の授業の声などである。それぞれの計算には、例えば、特許文献１～３に記載の技術が利用される。

【0091】

また、６項目それぞれの対象周波数は、（ａ）５０Ｈｚ～５，０００Ｈｚ帯域、（ｂ）１００Ｈｚ～５，０００Ｈｚ帯域、（ｃ）および（ｄ）５０Ｈz～５，０００Ｈz帯域、（ｅ）重量床衝撃音：５０Ｈｚ～６３０Ｈｚ帯域、軽量床衝撃音：５０Ｈｚ～５，０００Ｈｚ帯域、（ｆ）１００Ｈz～５，０００Ｈz帯域となっている。

【0092】

そして、試聴音の生成については、（ａ）～（ｄ）においては、減音量フィルタを生成し、音源データ（収音した対象音データ）にフィルタ処理して試聴音を生成する。

【0093】

（ｅ）においては、ＪＩＳ規格による標準衝撃源（タイヤ、ボール、タッピング）の衝撃力から床衝撃音レベルを求め、スラブ厚や床仕上げ構造、仕上げ天井などの条件ごとに収音した標準衝撃源による床衝撃音から計算した条件に近い音源データを抽出し、その床衝撃音レベルと計算値とのレベル差を減音量としたフィルタを生成して、試聴音を生成する。なお、重量床衝撃音は、５０Ｈｚ～６３０Ｈｚ帯域が評価対象であるので、対象外の周波数についてはフィルタ処理して再生しない。

【0094】

（ｆ）においては、無響室で収音した朗読音等のドライソースの音に、音響シミュレーション等により予測したインパルス応答やインパルス応答の実測値を畳み込み演算することにより、試聴音を生成する。

【0095】

次に、使用するマイク（収音部１３０や収音装置）やヘッドホン（出力部１４０やスピーカ）などはそれぞれ、固有の音響特性を有している。そのため、生成した試聴音を忠実に再生するためには、これらの音響特性を補正する必要があり、予め求めた補正値をもとに収音した音源（対象音１３１）や生成した試聴音を補正する。なお、使用機器の音響特性に対する補正値は、以下の方法で求められる。

【0096】

≪マイクの音響特性の補正方法≫
＜マイクの周波数特性＞
マイク（収音部１３０）の音響特性の補正方法について、携帯端末１２０としてタブレット端末を使用した場合を例に説明する。まず、評価対象周波数の音をマイクで収音できることを実験的に確認する。無響室において、スピーカ（音源）からピンクノイズ（雑音）を発生させ、１ｍ離れた位置に精密騒音計を設置して収音する。図１０には、収音データの１／３オクターブバンドレベルが示されている。

【0097】

タブレット端末に外付けしたマイクと精密騒音計とは、対象周波数範囲である５０Ｈｚ～５，０００Ｈｚ帯域において概ね一致している。一方、タブレット端末に内蔵されたマイクでは、８０Ｈｚ帯域以下の低い周波数でレベル差が見られる。重量床衝撃音や設備音等の低音域で問題となる音を収音する場合には、外付けマイクを利用することが好ましい。

【0098】

＜マイクの収音可能レベルと線形性＞
試聴音の試聴の際には、システム使用時は使用者の聴力障害への配慮や騒音対策が必要になる騒音の大きさを踏まえ、収音する音圧レベルを３０ｄＢ～８０ｄＢと想定する。また、マイクの周波数特性は、収音する音圧レベルに応じて線形変化するものを用いる。そのため、使用するマイクの収音可能レベルと周波数特性との線形性を実験的に確認する。

【0099】

ピンクノイズの音量を３０ｄＢ～８０ｄＢとし、タブレット端末の内蔵マイクと精密騒音計とを用いて収音した。収音した音を１／３オクターブバンド分析し、タブレット端末の内蔵マイクと精密騒音計との対応を検討する。図１１には、代表例として、１，０００Ｈｚ帯域の結果が示されている。

【0100】

精密騒音計の値を真値とした場合、タブレット端末の内蔵マイクの使用時には、３０ｄＢ～８０ｄＢまでは概ね線形に変化している。システム利用で想定している音圧レベル範囲で線形変化することから周波数帯域ごとに一定の補正値で補正が行える。

【0101】

対象とするマイクが、対象音加工システム１００，６００で利用できることを確認後、精度よく収音できるように、精密騒音計と対象とするマイクとの１／３オクターブバンドレベル差を補正値（第１加工用補正値）として利用する。

【0102】

≪ヘッドホンの音響特性の補正方法≫
＜ヘッドホンの周波数特性＞
ヘッドホンは、用途や好みに応じたチューニングがなされているものが多く、生成した試聴音を忠実に再生するには、個々のヘッドホンの周波数特性をキャンセルしなければならない。そのため、無響室において、ダミーヘッドにヘッドホンを装着し、タブレット端末経由でピンクノイズ（音源ソース）を再生する。図１２には、ピンクノイズとヘッドホンの再生音との１／３オクターブバンドレベルが示されている。平坦な、周波数特性のピンクノイズに対して、使用したヘッドホンの再生音は、周波数ごとに異なり、特に、４００Ｈｚ～１，０００Ｈｚ帯域の音が強調される特性となっている。

【0103】

＜ヘッドホンの再生可能レベルと線形性＞
ピンクノイズのレベルを変えてヘッドホンで再生し、ヘッドホンの再生可能レベルと線形性とを検討する。図１３には、代表例として、１，０００Ｈｚ帯域の１／３オクターブバンドレベルが示されている。

【0104】

２０ｄＢ～８０ｄＢの範囲において、ヘッドホンで再生できており、ピンクノイズの５０ｄＢピッチのレベル変化に応じて線形に変化している。他の周波数帯域においても同様の結果が得られた。２０ｄＢまで再生が行えることから、例えば、空間の遮音を検討する際に、音源室において、７５ｄＢで発生している音源に対して、空間遮音性能でＤｒ－５５までの効果を試聴音として表現できる。ここで、Ｄｒは、室間音圧レベル差等級であり、Ｄｒ値が大きいほど空間の遮音性能が高く、空気伝搬音が伝わりにくいことを示す。

【0105】

対象とするヘッドホンが対象音加工システム１００，６００で利用できることを確認後、生成した試聴音を忠実に再生できるように、ピンクノイズ（音源ソース）とヘッドホンの再生音との１／３オクターブバンドレベル差を補正値（第２加工用補正値）として、ヘッドホン固有の音響特性をキャンセルする。

【0106】

≪実建物におけるシステム精度の検証事例≫
＜検証概要＞
オフィスの室内を利用し、空間遮音性能に関する対象音加工装置１１０，６１０による予測計算と試聴音、加工済試聴音の生成精度を検証した。測定室の概要を図１４に示す。

【0107】

会議室と執務室との間の界壁には、乾式二重壁（遮音性能ＴＬ_Ｄ－４０）となっている。会議室と執務室との廊下扉は、エアタイトが設置されていない一般的なスチール製親子扉である。会議室を音源室とし、スピーカから対象音（ピンクノイズまたは男性朗読音）を再生した。再生された対象音を対象音加工装置１１０，６１０（タブレット端末の内蔵マイクを使用）でそれぞれ収音して、収音された対象音の音源データとした。なお、収音精度検証のため、精密騒音計（ＲＩＯＮ社製ＮＡ－２８）でも収音を行った。受音室にはダミーヘッドを設置して会議室からの伝搬音を収音した。また、ＪＩＳ Ａ１４１８：２０００「建築物の空気音遮断性能の測定方法」における室間音圧レベル差の測定も行った。

【0108】

＜予測計算精度＞
対象音加工システム１００，６００による、予測計算精度を確認するために、室間音圧レベル差の予測値と実測値とを比較した。図１５には、オクターブバンドレベルの比較結果が示されている。実測値に対して、予測値は、１２５Ｈｚ帯域～４，０００Ｈｚ帯域において概ね対応しており、精度よく室間音圧レベル差を予測できている。

【0109】

収音精度が試聴音の生成精度に影響を及ぼすため、対象音加工システム１００，６００（タブレット内蔵マイク）の収音データと精密騒音計とによる収音データを比較した。精密騒音計の音圧波形と対象音加工システム１００，６００（タブレット内蔵マイク）で収音した音圧波形（加工済対象音）を図１６に、それぞれの音圧波形のオクターブバンドレベルを図１７に示す。

【0110】

対象音加工システム１００，６００（タブレット内蔵マイク）で収音した音圧波形の形状や振幅は、ピンクノイズおよび男性朗読音ともに精密騒音計で収音した音圧波形と同波形、同振幅である。オクターブバンドレベルでは、最大１ｄＢ程度の誤差であり、普通騒音計と同等の精度で収音できている。

【0111】

＜試聴音の精度＞
対象音加工システム１００，６００の収音データに対して予測計算結果を加味した試聴音の音圧波形に対してヘッドホン固有の音響特性をキャンセルする補正処理を行い、加工済試聴音を生成した。

【0112】

試聴音の音圧波形、加工済試聴音（ヘッドホン再生音）の音圧波形、受音室の執務室でダミーヘッドを用いて収音した音圧波形（実測値）を図１８に、それぞれのオクターブバンドレベルを図１９に示した。なお、受音室の暗騒音が図１９に示されているが、男性朗読再生時では、１，０００Ｈｚ帯域以上の受音室の暗騒音の影響を受けるため評価から除外している。

【0113】

加工済試聴音（ヘッドホン再生音）は、試聴音および実測値の音圧波形とほぼ同形状、同振幅であり、オクターブバンドレベルも同程度である。

【0114】

システムの対象音加工装置１１０，６１０で生成した試聴音をヘッドホンで正しく再生できており、加工済試聴音は実際の音を再現できている。

【0115】

以上、実施形態を参照して本発明を説明したが、本発明は、上述した実施形態に制限されず適宜変更可能である。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせた外装容器及び包装箱も、本発明の範疇に含まれる。

【0116】

また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に供給され、内蔵されたプロセッサによって実行される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、プログラムを実行するプロセッサも本発明の技術的範囲に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の技術的範囲に含まれる。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図3C】

【図3D】

【図4】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】