▶ 飛島建設株式会社の特許一覧 ▶ 学校法人早稲田大学の特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024032687
(43)【公開日】2024-03-12
(54)【発明の名称】空間内音源及び物体表面からの音源の３次元探査システム
(51)【国際特許分類】
H04R 3/00 20060101AFI20240305BHJP
G01H 11/02 20060101ALI20240305BHJP
G01S 3/808 20060101ALI20240305BHJP
G10K 11/34 20060101ALI20240305BHJP
【ＦＩ】
H04R3/00 320
G01H11/02 Z
G01S3/808
G10K11/34
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023137984
(22)【出願日】2023-08-28
(31)【優先権主張番号】P 2022135833
(32)【優先日】2022-08-29
(33)【優先権主張国・地域又は機関】JP
【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り 日本音響学会２０２３年春季研究発表会講演論文集ｐｐ．１０２７－１０２８ ２０２３年３月１日掲載 ［刊行物等］日本音響学会２０２３年春季研究発表会 オンライン発表（Ｚｏｏｍ開催） 第６会場 スペシャルセッション（音環境の可視化・可聴化技術の動向１） ｈｔｔｐｓ：／／ｗｗｗ．ｍｔｇ．ａｃｏｕｓｔｉｃｓ．ｊｐ／ｄｅｔａｉｌ．ｈｔｍｌ＃３－６－３ ｈｔｔｐｓ：／／ｗｗｗ．ｍｔｇ．ａｃｏｕｓｔｉｃｓ．ｊｐ／ａｕｔｈ／ｖｅｎｕｅ＿６．ｈｔｍｌ ２０２３年３月１７日開催 ［刊行物等］ｈｔｔｐｓ：／／ｓ２０２３．ｓｉｇｇｒａｐｈ．ｏｒｇ／ｐｒｅｓｅｎｔａｔｉｏｎ／？ｉｄ＝ｐｏｓ＿２２５＆ｓｅｓｓ＝ｓｅｓｓ３８９ ｈｔｔｐｓ：／／ｄｌ．ａｃｍ．ｏｒｇ／ｄｏｉ／１０．１１４５／３５８８０２８．３６０３６８２ ２０２３年７月２３日掲載 ［刊行物等］ＳＩＧＧＲＡＰＨ ２０２３ Ｌｏｓ Ａｎｇｅｌｅｓ Ｃｏｎｖｅｎｔｉｏｎ Ｃｅｎｔｅｒ， Ｗｅｓｔ Ｌｏｂｂｙ Ｅｎｔｒａｎｃｅ， Ｐｏｓｔｅｒ， Ａｒｔｉｃｌｅ Ｎｏ．３８ ２０２３年８月６日～１０日開催 ［刊行物等］ｈｔｔｐｓ：／／ｃｏｎｆｉｔ．ａｔｌａｓ．ｊｐ／ｇｕｉｄｅ／ｅｖｅｎｔ／ｉｎｔｅｒｎｏｉｓｅ２０２３／ｐａｒｔｉｃｉｐａｎｔ＿ｌｏｇｉｎ？ｅｖｅｎｔＣｏｄｅ＝ｉｎｔｅｒｎｏｉｓｅ２０２３ ２０２３年８月２０日掲載 ［刊行物等］ＩＮＴＥＲ－ＮＯＩＳＥ ２０２３ 幕張メッセ国際会議場 ２０２３年８月２３日開催
(71)【出願人】
【識別番号】000235543
【氏名又は名称】飛島建設株式会社
(71)【出願人】
【識別番号】899000068
【氏名又は名称】学校法人早稲田大学
(74)【代理人】
【識別番号】100082658
【弁理士】
【氏名又は名称】伊藤 儀一郎
(72)【発明者】
【氏名】小林 真人
(72)【発明者】
【氏名】岩根 康之
(72)【発明者】
【氏名】佐藤 考浩
(72)【発明者】
【氏名】及川 靖広
(72)【発明者】
【氏名】井上 敦登
(72)【発明者】
【氏名】寺岡 航
(72)【発明者】
【氏名】草野 翼
(72)【発明者】
【氏名】後藤 昌彦
(72)【発明者】
【氏名】潘 明宇
【テーマコード（参考）】
2G064
5D220
5J083
【Ｆターム（参考）】
2G064AB13
2G064BA02
2G064BD02
2G064DD02
5D220BA06
5D220BC05
5J083BC01
5J083CA10
(57)【要約】
【課題】本発明は、３次元空間内において、音源の位置と共に音の伝搬状況さえも３次元的に解析できて３次元的な計測結果、すなわち立体的な音源の位置と音の伝搬状況が得られ、かつ前記３次元的計測結果を３次元の実空間上にリアルタイムで表現できる空間内音源の３次元探査システムを提供する。
【解決手段】本発明は、３次元空間内に３次元極座標もしくは３次元直交座標を設定し、該３次元極座標もしくは３次元直交座標内に３次元方向に散在させた複数仮想音源を配置し、配置した複数仮想音源の音圧レベルを、複数のマイクロホンに前記仮想音源からの音が到達する際の時間差をもとに、特定方向・位置における仮想音源の音圧レベルが推定できるビームフォーミングにより解析し、解析した解析結果から３次元の音圧レベル分布が得られることを特徴とする。
【選択図】図１
【解決手段】本発明は、３次元空間内に３次元極座標もしくは３次元直交座標を設定し、該３次元極座標もしくは３次元直交座標内に３次元方向に散在させた複数仮想音源を配置し、配置した複数仮想音源の音圧レベルを、複数のマイクロホンに前記仮想音源からの音が到達する際の時間差をもとに、特定方向・位置における仮想音源の音圧レベルが推定できるビームフォーミングにより解析し、解析した解析結果から３次元の音圧レベル分布が得られることを特徴とする。
【選択図】図１
【特許請求の範囲】
【請求項1】
３次元空間内に３次元極座標もしくは３次元直交座標を設定し、該３次元極座標もしくは３次元直交座標内に３次元方向に散在させた複数仮想音源を配置し、配置した複数仮想音源の音圧レベルを、複数のマイクロホンに前記仮想音源からの音が到達する際の時間差をもとに、特定方向・位置における仮想音源の音圧レベルが推定できるビームフォーミングにより解析し、解析した解析結果から３次元の音圧レベル分布が得られる、
ことを特徴とする空間内音源の３次元探査システム。
ことを特徴とする空間内音源の３次元探査システム。
【請求項2】
３次元空間内に３次元極座標もしくは３次元直交座標を設定し、該３次元極座標もしくは３次元直交座標内に３次元方向に散在させた複数仮想音源を配置し、配置した複数仮想音源の音圧レベルを、複数のマイクロホンに前記仮想音源からの音が到達する際の時間差をもとに、特定方向・位置における仮想音源の音圧レベルが推定できる最小分散無歪応答法 (ＭＶＤＲ)によるアルゴリズムを用いたビームフォーミングにより解析し、解析した解析結果から３次元の音圧レベル分布が得られる、
ことを特徴とする空間内音源の３次元探査システム。
ことを特徴とする空間内音源の３次元探査システム。
【請求項3】
物体の表面における点群座標を取得し、取得した点群座標を仮想音源として使用してなり、使用する複数仮想音源の音圧レベルを、複数のマイクロホンに前記仮想音源からの音が到達する際の時間差をもとに、特定方向・位置における仮想音源の音圧レベルが推定できるビームフォーミングにより解析し、解析した解析結果から３次元の音圧レベル分布が得られる、
ことを特徴とする物体の表面における音源の３次元探査システム。
ことを特徴とする物体の表面における音源の３次元探査システム。
【請求項4】
物体の表面における点群座標を取得し、取得した点群座標を仮想音源として使用してなり、使用する複数仮想音源の音圧レベルを、複数のマイクロホンに前記仮想音源からの音が到達する際の時間差をもとに、特定方向・位置における仮想音源の音圧レベルが推定できる最小分散無歪応答法 (ＭＶＤＲ)によるアルゴリズムを用いたビームフォーミングにより解析し、解析した解析結果から３次元の音圧レベル分布が得られる、
ことを特徴とする空間内音源の３次元探査システム。
ことを特徴とする空間内音源の３次元探査システム。
【請求項5】
前記最小分散無歪応答法 (ＭＶＤＲ)によるアルゴリズムを用いたビームフォーミングによる解析につき、所定時間経過毎に複数回の解析を行うとき、
解析に使用する前記アルゴリズムのうち、各仮想音源からマイクロホンまでの伝達関数であるステアリングベクトルの算出につき、当初時間に計算した前記ステアリングベクトルの算出結果をその後の時間経過後のアルゴリズム計算で用いる、
ことを特徴とする請求項２または請求項４記載の空間内音源の３次元探査システム。
解析に使用する前記アルゴリズムのうち、各仮想音源からマイクロホンまでの伝達関数であるステアリングベクトルの算出につき、当初時間に計算した前記ステアリングベクトルの算出結果をその後の時間経過後のアルゴリズム計算で用いる、
ことを特徴とする請求項２または請求項４記載の空間内音源の３次元探査システム。
【請求項6】
前記最小分散無歪応答法 (ＭＶＤＲ)によるアルゴリズムを用いたビームフォーミングによる解析につき、所定時間経過毎に複数回の解析を行うとき、
解析に使用する前記アルゴリズムのうち、相関行列の逆行列の計算結果につき、前の時間に求めた前記相関行列の逆行列の計算結果から次の時間の相関行列の逆行列の計算結果を再帰的に求め、前記相関行列の逆行列の計算回数を削減した、
ことを特徴とする請求項２または請求項４記載の空間内音源の３次元探査システム。
解析に使用する前記アルゴリズムのうち、相関行列の逆行列の計算結果につき、前の時間に求めた前記相関行列の逆行列の計算結果から次の時間の相関行列の逆行列の計算結果を再帰的に求め、前記相関行列の逆行列の計算回数を削減した、
ことを特徴とする請求項２または請求項４記載の空間内音源の３次元探査システム。
【請求項7】
前記最小分散無歪応答法 (ＭＶＤＲ)によるアルゴリズムを用いたビームフォーミングによる解析につき、所定時間経過毎に複数回の解析を行うとき、
解析に使用する前記アルゴリズムのうち、各仮想音源からマイクロホンまでの伝達関数であるステアリングベクトルａ（ｒ）と、マイクロホン間の相関行列Ｒ（ｋ）の算出に際して、音の伝搬状況の情報が損なわせない範囲で仮想音源の計算点数が調整できる、
ことを特徴とする請求項２または請求項４記載の空間内音源の３次元探査システム。
解析に使用する前記アルゴリズムのうち、各仮想音源からマイクロホンまでの伝達関数であるステアリングベクトルａ（ｒ）と、マイクロホン間の相関行列Ｒ（ｋ）の算出に際して、音の伝搬状況の情報が損なわせない範囲で仮想音源の計算点数が調整できる、
ことを特徴とする請求項２または請求項４記載の空間内音源の３次元探査システム。
【請求項8】
前記算出された３次元の音圧レベル分布が３次元の実空間上にＭＲ・ＡＲデバイスで重畳表示できて立体的に可視化できる、
ことを特徴とする請求項１、請求項２、請求項３または請求項４記載の空間内音源の３次元探査システム。
ことを特徴とする請求項１、請求項２、請求項３または請求項４記載の空間内音源の３次元探査システム。
【請求項9】
前記ＭＲ・ＡＲデバイスで３次元の実空間上に重畳表示された３次元の音圧レベル分布を２次元の音圧レベル分布の表示に変換出来る、
ことを特徴とする請求項８記載の空間内音源の３次元探査システム。
ことを特徴とする請求項８記載の空間内音源の３次元探査システム。
【請求項10】
前記ＭＲ・ＡＲデバイスで３次元の実空間上に重畳表示された３次元の音圧レベル分布を複数の２次元の音圧レベル分布表示に変換し、変換した複数の２次元の音圧レベル分布表示が擬似的な３次元音圧レベル分布表示となる、
ことを特徴とする請求項８記載の空間内音源の３次元探査システム。
ことを特徴とする請求項８記載の空間内音源の３次元探査システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば、現実の３次元空間内での奥行き方向を含む異なる位置からの音のそれぞれ音圧レベルを３次元的に計測でき、また例えば３次元空間を囲む壁や床など物体の表面からの音（例えば反射音、遮音した壁などから漏れる音漏れ音）の音圧レベルを３次元的に計測でき、かつ前記それぞれの音圧レベル分布の計測結果をリアルタイムで現実の３次元空間上あるいは３次元空間内における物体の表面上にデータ化して立体的に表示して可視化できるシステムとした空間内音源及び物体表面からの音源の３次元探査システムに関するものである。
【背景技術】
【0002】
従来の空間内の音源探査装置としては、複数のマイクロホンを球面上に配置して構成されたマイクロホンアレイを用いて前記空間内の音源位置を算出し、カメラで撮影した画像上に前記算出結果を重畳するもの（特許文献１）や、同一平面上ではない位置で近接させた４点のマイクロホンを用いて、コンサートホールのような反射音の多い空間での音の到来方向を表示するものが一般に知られている（特許文献２）。
【0003】
しかしながら、前記特許文献１による探査装置では、３次元空間を３６０°スキャンして音源位置を探査することはできるが、発生源からの音の伝搬状況を３次元的に把握すること、すなわち立体的に把握することが出来なかった。また、フラッターエコーなどの音響障害に対して詳細な検証を行うことは難しいとの課題があった。
【0004】
また特許文献２による装置では、音の到来方向を計測できるため音源方向や反射面を把握することができるが、やはり３次元空間上での音源の位置を立体的に特定することができないとの課題があった。さらに、前記特許文献１及び特許文献２に示された両装置での計測結果は、対象空間の切り取られた平面的画像もしくは平面的図面上に重畳して２次元的に表示されものであり、３次元的、すなわち立体的に前記計測結果を把握することが出来ないため、立体的な状態で直感的に結果を理解するのは難しいといった課題があった。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２００９－２５７９４４号公報
【特許文献2】特開２００９－２４６８２７号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
本発明は、前記従来の課題を解決するために創案されたものであり、３次元空間内において、音源の位置と共に音の伝搬状況さえも３次元的に解析できて３次元的な計測結果、すなわち立体的な音源の位置と音の伝搬状況が得られ、かつ前記３次元的計測結果を３次元の実空間上にリアルタイムで表現できる空間内音源の３次元探査システムを提供することを目的とするものである。
【課題を解決するための手段】
【0007】
本発明は、
３次元空間内に３次元極座標もしくは３次元直交座標を設定し、該３次元極座標もしくは３次元直交座標内に３次元方向に散在させた複数仮想音源を配置し、配置した複数仮想音源の音圧レベルを、複数のマイクロホンに前記仮想音源からの音が到達する際の時間差をもとに、特定方向・位置における仮想音源の音圧レベルが推定できるビームフォーミングにより解析し、解析した解析結果から３次元の音圧レベル分布が得られる、
ことを特徴とし、
または、
３次元空間内に３次元極座標もしくは３次元直交座標を設定し、該３次元極座標もしくは３次元直交座標内に３次元方向に散在させた複数仮想音源を配置し、配置した複数仮想音源の音圧レベルを、複数のマイクロホンに前記仮想音源からの音が到達する際の時間差をもとに、特定方向・位置における仮想音源の音圧レベルが推定できる最小分散無歪応答法 (ＭＶＤＲ)によるアルゴリズムを用いたビームフォーミングにより解析し、解析した解析結果から３次元の音圧レベル分布が得られる、
ことを特徴とし、
または、
物体の表面における点群座標を取得し、取得した点群座標を仮想音源として使用してなり、使用する複数仮想音源の音圧レベルを、複数のマイクロホンに前記仮想音源からの音が到達する際の時間差をもとに、特定方向・位置における仮想音源の音圧レベルが推定できるビームフォーミングにより解析し、解析した解析結果から３次元の音圧レベル分布が得られる、
ことを特徴とし、
または、
物体の表面における点群座標を取得し、取得した点群座標を仮想音源として使用してなり、使用する複数仮想音源の音圧レベルを、複数のマイクロホンに前記仮想音源からの音が到達する際の時間差をもとに、特定方向・位置における仮想音源の音圧レベルが推定できる最小分散無歪応答法 (ＭＶＤＲ)によるアルゴリズムを用いたビームフォーミングにより解析し、解析した解析結果から３次元の音圧レベル分布が得られる、
ことを特徴とし、
または、
前記最小分散無歪応答法 (ＭＶＤＲ)によるアルゴリズムを用いたビームフォーミングによる解析につき、所定時間経過毎に複数回の解析を行うとき、
解析に使用する前記アルゴリズムのうち、各仮想音源からマイクロホンまでの伝達関数であるステアリングベクトルの算出につき、当初時間に計算した前記ステアリングベクトルの算出結果をその後の時間経過後のアルゴリズム計算で用いる、
ことを特徴とし、
または、
前記最小分散無歪応答法 (ＭＶＤＲ)によるアルゴリズムを用いたビームフォーミングによる解析につき、所定時間経過毎に複数回の解析を行うとき、
解析に使用する前記アルゴリズムのうち、相関行列の逆行列の計算結果につき、前の時間に求めた前記相関行列の逆行列の計算結果から次の時間の相関行列の逆行列の計算結果を再帰的に求め、前記相関行列の逆行列の計算回数を削減した、
ことを特徴とし、
または、
前記最小分散無歪応答法 (ＭＶＤＲ)によるアルゴリズムを用いたビームフォーミングによる解析につき、所定時間経過毎に複数回の解析を行うとき、
解析に使用する前記アルゴリズムのうち、各仮想音源からマイクロホンまでの伝達関数であるステアリングベクトルａ（ｒ）と、マイクロホン間の相関行列Ｒ（ｋ）の算出に際して、音の伝搬状況の情報が損なわせない範囲で仮想音源の計算点数が調整できる、
ことを特徴とし、
または、
前記算出された３次元の音圧レベル分布が３次元の実空間上にＭＲ・ＡＲデバイスで重畳表示できて立体的に可視化できる、
ことを特徴とし、
または、
前記ＭＲ・ＡＲデバイスで３次元の実空間上に重畳表示された３次元の音圧レベル分布を２次元の音圧レベル分布の表示に変換出来る、
ことを特徴とし、
または、
前記ＭＲ・ＡＲデバイスで３次元の実空間上に重畳表示された３次元の音圧レベル分布を複数の２次元の音圧レベル分布表示に変換し、変換した複数の２次元の音圧レベル分布表示が擬似的な３次元音圧レベル分布表示となる、
ことを特徴とするものである。
３次元空間内に３次元極座標もしくは３次元直交座標を設定し、該３次元極座標もしくは３次元直交座標内に３次元方向に散在させた複数仮想音源を配置し、配置した複数仮想音源の音圧レベルを、複数のマイクロホンに前記仮想音源からの音が到達する際の時間差をもとに、特定方向・位置における仮想音源の音圧レベルが推定できるビームフォーミングにより解析し、解析した解析結果から３次元の音圧レベル分布が得られる、
ことを特徴とし、
または、
３次元空間内に３次元極座標もしくは３次元直交座標を設定し、該３次元極座標もしくは３次元直交座標内に３次元方向に散在させた複数仮想音源を配置し、配置した複数仮想音源の音圧レベルを、複数のマイクロホンに前記仮想音源からの音が到達する際の時間差をもとに、特定方向・位置における仮想音源の音圧レベルが推定できる最小分散無歪応答法 (ＭＶＤＲ)によるアルゴリズムを用いたビームフォーミングにより解析し、解析した解析結果から３次元の音圧レベル分布が得られる、
ことを特徴とし、
または、
物体の表面における点群座標を取得し、取得した点群座標を仮想音源として使用してなり、使用する複数仮想音源の音圧レベルを、複数のマイクロホンに前記仮想音源からの音が到達する際の時間差をもとに、特定方向・位置における仮想音源の音圧レベルが推定できるビームフォーミングにより解析し、解析した解析結果から３次元の音圧レベル分布が得られる、
ことを特徴とし、
または、
物体の表面における点群座標を取得し、取得した点群座標を仮想音源として使用してなり、使用する複数仮想音源の音圧レベルを、複数のマイクロホンに前記仮想音源からの音が到達する際の時間差をもとに、特定方向・位置における仮想音源の音圧レベルが推定できる最小分散無歪応答法 (ＭＶＤＲ)によるアルゴリズムを用いたビームフォーミングにより解析し、解析した解析結果から３次元の音圧レベル分布が得られる、
ことを特徴とし、
または、
前記最小分散無歪応答法 (ＭＶＤＲ)によるアルゴリズムを用いたビームフォーミングによる解析につき、所定時間経過毎に複数回の解析を行うとき、
解析に使用する前記アルゴリズムのうち、各仮想音源からマイクロホンまでの伝達関数であるステアリングベクトルの算出につき、当初時間に計算した前記ステアリングベクトルの算出結果をその後の時間経過後のアルゴリズム計算で用いる、
ことを特徴とし、
または、
前記最小分散無歪応答法 (ＭＶＤＲ)によるアルゴリズムを用いたビームフォーミングによる解析につき、所定時間経過毎に複数回の解析を行うとき、
解析に使用する前記アルゴリズムのうち、相関行列の逆行列の計算結果につき、前の時間に求めた前記相関行列の逆行列の計算結果から次の時間の相関行列の逆行列の計算結果を再帰的に求め、前記相関行列の逆行列の計算回数を削減した、
ことを特徴とし、
または、
前記最小分散無歪応答法 (ＭＶＤＲ)によるアルゴリズムを用いたビームフォーミングによる解析につき、所定時間経過毎に複数回の解析を行うとき、
解析に使用する前記アルゴリズムのうち、各仮想音源からマイクロホンまでの伝達関数であるステアリングベクトルａ（ｒ）と、マイクロホン間の相関行列Ｒ（ｋ）の算出に際して、音の伝搬状況の情報が損なわせない範囲で仮想音源の計算点数が調整できる、
ことを特徴とし、
または、
前記算出された３次元の音圧レベル分布が３次元の実空間上にＭＲ・ＡＲデバイスで重畳表示できて立体的に可視化できる、
ことを特徴とし、
または、
前記ＭＲ・ＡＲデバイスで３次元の実空間上に重畳表示された３次元の音圧レベル分布を２次元の音圧レベル分布の表示に変換出来る、
ことを特徴とし、
または、
前記ＭＲ・ＡＲデバイスで３次元の実空間上に重畳表示された３次元の音圧レベル分布を複数の２次元の音圧レベル分布表示に変換し、変換した複数の２次元の音圧レベル分布表示が擬似的な３次元音圧レベル分布表示となる、
ことを特徴とするものである。
【発明の効果】
【0008】
本発明によれば、３次元空間内において、あるいは例えば３次元空間を囲む壁や床など物体の表面上において、音源の位置と共に音の伝搬状況さえも３次元的に解析できて３次元的な計測結果、すなわち立体的な音源の位置と音の伝搬状況が得られ、かつ前記３次元的計測結果を３次元の実空間上においてもリアルタイムで表現できる空間内音源の３次元探査システムを提供できるとの効果を奏する。
【0009】
さらに、ビームフォーミングによる解析で３次元的に示した音圧レベル分布データを現実の３次元空間においてそれぞれリアルタイムに計測できて、計測したデータを現実の３次元空間上に重畳表示できると共に、前記３次元的音圧レベル分布データをカラー表示で色分けした音圧レベル分布図にすることが出来、該カラー表示で色分けした音圧レベル分布図を現実の空間である３次元空間内に重畳表示し、もって奥行方向の異なった位置での音圧レベル情報についても確実に把握、認識できるとの優れた効果を奏する。
【図面の簡単な説明】
【0010】
【図1】本発明の概略構成を説明する概略構成説明図である。
【図2】所定空間内の３次元音圧レベルの算出を説明する説明図である。
【図3】所定空間内の３次元音圧レベル分布の算出を説明する説明図である。
【図4】ＭＶＤＲビームフォーマの導出を説明する説明図（１）である。
【図5】ＭＶＤＲビームフォーマの導出を説明する説明図（２）である。
【図6】ＭＶＤＲビームフォーマによる解析の具体例を説明する説明図である。
【図7】３次元極座標上に複数の仮想音源を配置した状態を説明する説明図である。
【図8】ＭＶＤＲビームフォーマによる解析で３次元極座標上に３次元音圧レベル分布が表示された状態を説明する説明図である。
【図9】ＭＶＤＲビームフォーマによる解析で３次元直交座標上に３次元音圧レベル分布が表示された状態を説明する説明図である。
【図10】ビームフォーマによる解析速度の向上に向けたアルゴリズムの改良について説明する説明図（１）である。
【図11】ビームフォーマによる解析速度の向上に向けたアルゴリズムの改良について説明する説明図（２）である。
【図12】ビームフォーマによる解析速度の向上に向けたアルゴリズムの改良について説明する説明図（３）である。
【図13】ビームフォーマによる解析速度の向上に向けたアルゴリズムの改良について説明する説明図（４）である。
【図14】算出した３次元音圧レベル分布をＭＲあるいはＡＲデバイス実空間上で表示した状態を説明する説明図である。
【図15】算出した３次元音圧レベル分布をＭＲあるいはＡＲデバイス実空間上で任意の断面に切り出して可視化した状態を説明する説明図である。
【図16】切り出しの手順を説明する説明図である。
【図17】３次元空間内物体の表面上での３次元音圧レベルを可視化した状態を説明する説明図である。
【発明を実施するための形態】
【0011】
以下、本発明を図に示す実施例に基づいて説明する。
図１に本発明の概略構成を示す。
本発明は収録部１を有している。また、例えばＰＣに設けられた解析処理部２を有している。さらに、タブレットや端末に設けられた３次元の可視化処理部３を有している。
図１に本発明の概略構成を示す。
本発明は収録部１を有している。また、例えばＰＣに設けられた解析処理部２を有している。さらに、タブレットや端末に設けられた３次元の可視化処理部３を有している。
【0012】
ここで、前記収録部１には複数のマイクロホンで構成されたマイクロホンアレイ４あるいはＡＲマーカ５などが該当する。尚、ＡＲマーカ５は、前記解析処理部２で解析された音圧レベルをタブレットや端末に設けられた３次元の可視化処理部３に入力される際、該音圧レベル分布を３次元の実空間上に３次元の音圧レベル分布として重畳表示する際に使用されるものとなる。
【0013】
ここで、ＡＲマーカ５とは３Ｄコンテンツ動画などのデジタルコンテンツを表示させる目印となる画像をいい、該画像を事前に登録しておくことでＡＲマーカ５として機能する。ＭＲデバイス６あるいはＡＲデバイス７などが有する３次元の可視化処理部３ではＡＲマーカ５に設定した画像を認識し、コンテンツを表示する仕組みとなっている。
【0014】
次に、解析処理部２は、各仮想音源からの音が前記マイクロホンアレイ４で収録された収録データが保存される格納部８を有している。
また、計測パラメータ設定部９を有している。計測パラメータ設定部９においては、各仮想音源の音圧レベルの計測範囲、仮想音源数、ＦＦＴ条件などが設定される。
また、計測パラメータ設定部９を有している。計測パラメータ設定部９においては、各仮想音源の音圧レベルの計測範囲、仮想音源数、ＦＦＴ条件などが設定される。
【0015】
さらに、ビームフォーミング処理部１０を有している。該ビームフォーミング処理部１０では、前記収録データや各仮想音源における音圧レベルの計測範囲、仮想音源数、ＦＦＴ条件などの計測パラメータが用いられてビームフォーミング処理され、３次元の音圧レベル分布が算出されることになる。そして、算出された３次元の音圧レベル分布はタブレットやディスプレイなどの表示部１１で３次元の状態で可視化される。
【0016】
また、算出された３次元の音圧レベル分布は例えばバイナリーデータに変換され、ＰＣの送信部により、タブレットや端末に設けられた３次元の可視化処理部３へ送信される。そして、送信されたバイナリーデータとしての３次元の音圧レベル分布は符号１２に示すように３次元の実空間上に３次元の音圧レベル分布として表示されるものとなる。その際、前述したようにＡＲマーカ５が使用される。
【0017】
本発明による空間内音源の３次元探査システムでは、第１に３次元空間内における空間での音源等の探査が行える。
【0018】
まず、３次元空間内に３次元極座標１３もしくは３次元直交座標１４が設定される。次いで設定された３次元極座標１３もしくは３次元直交座標１４内に仮の音源、すなわち仮想音源を例えば複数の数につき空間内に間隔をあけて配置するものとされる（図７参照）。図７から理解されるように仮想音源は大量数の黒点で示す如く配置される。
そして３次元空間内に配置された前記仮想音源からのそれぞれの音につき、マイクロホンアレイ４を構成する複数のマイクロホンで集音し、収録する。
そして３次元空間内に配置された前記仮想音源からのそれぞれの音につき、マイクロホンアレイ４を構成する複数のマイクロホンで集音し、収録する。
【0019】
集音、収録後、前記複数のマイクロホンに到達する際の前記仮想音源からの音の到達時間差をもとに、特定の方向・位置における前記それぞれの仮想音源からの音の音圧レベルをビームフォーミング処理部１０においてビームフォーミング処理されて解析される。そして、解析した結果から３次元空間内における前記仮想音源の３次元音圧レベル分布が算出されるシステムとして構成されているものである。
これによって、３次元空間内において、音源の位置と共に音の伝搬状況さえも３次元的に解析できて３次元的な立体的な音源の位置と音の伝搬状況が得られる。
これによって、３次元空間内において、音源の位置と共に音の伝搬状況さえも３次元的に解析できて３次元的な立体的な音源の位置と音の伝搬状況が得られる。
【0020】
次に、例えば３次元空間内における物体の表面上より生ずる音源（例えば反射音、壁などからの音漏れ音）等の３次元探査システムにつき説明する。
本システムでは、主に、例えばLiDAR等の３Ｄレーザスキャナにより、測定対象空間に存する物体（対象空間を囲む床、壁および天井や、対象空間上に設置された什器および資機材など）上の点群データを取得する。そして、この取得した点群データのうちの点群座標が仮想音源として使用される。
本システムでは、主に、例えばLiDAR等の３Ｄレーザスキャナにより、測定対象空間に存する物体（対象空間を囲む床、壁および天井や、対象空間上に設置された什器および資機材など）上の点群データを取得する。そして、この取得した点群データのうちの点群座標が仮想音源として使用される。
【0021】
３次元極座標１３もしくは３次元直交座標１４を設定して物体の表面上の音源等の３次元探査を行うことも可能である。しかしながら、前記点群データの使用と比較すると極めて複雑で面倒な作業を有する。さらに、点群データを使用する場合であれば、３次元極座標１３もしくは３次元直交座標１４を設定して使用する場合より、より正確により明確に音源の位置や音の伝搬状況を表現できる。
【0022】
よって、床、壁、天井、什器および資機材などの物体の表面上の音源等の３次元探査を行うには、前記点群データの座標を用い、これを仮想音源とするのが好ましい。
すなわち、LiDAR技術（レーザー光を物体に照射して形状や距離を測定する技術）によって、３次元空間を囲む床・壁・天井や３次元空間内の什器・資機材など物体の点群座標を取得する。
すなわち、LiDAR技術（レーザー光を物体に照射して形状や距離を測定する技術）によって、３次元空間を囲む床・壁・天井や３次元空間内の什器・資機材など物体の点群座標を取得する。
【0023】
次いで、取得した物体表面の点群座標を音圧レベル分布の計算点である仮想音源とするのである。
例えばスマートフォン、タブレット、眼鏡型ＭＲデバイスなどLiDARセンサが搭載された各種のデバイスを用いることも出来、極めて簡易な方法で３次元空間を囲む床・壁・天井や３次元空間内の什器・資機材など物体表面の立体的な音源の位置と音の伝搬状況が解析できる操作が行える。
例えばスマートフォン、タブレット、眼鏡型ＭＲデバイスなどLiDARセンサが搭載された各種のデバイスを用いることも出来、極めて簡易な方法で３次元空間を囲む床・壁・天井や３次元空間内の什器・資機材など物体表面の立体的な音源の位置と音の伝搬状況が解析できる操作が行える。
【0024】
ここで、まず測定対象空間の点群情報（床、壁、天井、机などの物体の形状）を前記LiDARセンサで取得する。そして、前記取得した点群座標を仮想音源として用い、点群座標内でマイクロホンアレイの位置を定義することにより各点群座標（仮想音源）とマイクロホン間の距離が決まり、その情報からＭＶＤＲビームフォーマによる解析が実施出来るものとなる。
すなわち、前述したように物体の表面上にある複数の点群を仮想音源とし、該仮想音源からのそれぞれの音（例えば反射音）につき、マイクロホンアレイ４を構成する複数のマイクロホンで集音し、収録する。
すなわち、前述したように物体の表面上にある複数の点群を仮想音源とし、該仮想音源からのそれぞれの音（例えば反射音）につき、マイクロホンアレイ４を構成する複数のマイクロホンで集音し、収録する。
【0025】
集音、収録後、前記複数のマイクロホンに到達する際の前記仮想音源からの音の到達時間差をもとに、特定の方向・位置における前記それぞれの仮想音源からの音の音圧レベルをビームフォーミング処理部１０においてビームフォーミング処理されて解析する。そして、解析した結果から床、壁、天井、机などの物体の表面上の音源の３次元音圧レベル分布が算出できるものとなる。
【0026】
このように本システムでは、物体表面での音の情報（反射音、遮音した壁から漏れる直接的な音漏れ音など）を可視化することが出来、これにより、界壁の遮音欠損部を可視化することも出来る。また、壁面での反射音の発生状況を可視化し、吸音対策の検討に用いることも出来る。
すなわち、本システムの概要をまとめると、スマートフォンなどLiDARセンサが搭載された各種のデバイスにより、測定対象空間の点群座標（床、壁、天井、机などの物体の形状）を取得し、点群情報を解析すべく、ＰＣの解析処理部２に読み込ませ、点群座標内でマイクロホンアレイの位置を定義することにより各点群座標とマイクロホン間の距離が決まり、その情報からＭＶＤＲビームフォーマによる解析が行われるのである。
すなわち、本システムの概要をまとめると、スマートフォンなどLiDARセンサが搭載された各種のデバイスにより、測定対象空間の点群座標（床、壁、天井、机などの物体の形状）を取得し、点群情報を解析すべく、ＰＣの解析処理部２に読み込ませ、点群座標内でマイクロホンアレイの位置を定義することにより各点群座標とマイクロホン間の距離が決まり、その情報からＭＶＤＲビームフォーマによる解析が行われるのである。
【0027】
尚、音圧レベル分布の可視化のため、ＭＲデバイスなど可視化デバイスでマイクロホンアレイの位置を読み込み、音圧レベル分布の３ＤＣＧが現実の物体とぴったり合うように、例えばマイクロホンアレイに取り付けられたマーカを使用して調整する。
そして、ＭＲデバイスなどにより、物体表面上の音圧レベル分布が可視化されるものとなる。
そして、ＭＲデバイスなどにより、物体表面上の音圧レベル分布が可視化されるものとなる。
【0028】
図１７には本システムの概要が示されており、観測する３次元空間の３Ｄデータの取得には、LiDARが搭載されたスマートフォンなどの小型デバイスを用いることが出来る。また、録音には例えば１２ch.平面マイクロホンアレイが用いられ、オーディオインターフェースを通してＰＣに接続される。
LiDARスキャナによる観測する３次元空間の３Ｄデータは、点の集合体である点群データとして取得される。点群データの各点が位置情報を持つことを利用し、それぞれの点の位置に仮想的な音源があると仮定して仮想音源位置rでのＭＶＤＲビームフォーマの時間平均出力パワーを計算する。
LiDARスキャナによる観測する３次元空間の３Ｄデータは、点の集合体である点群データとして取得される。点群データの各点が位置情報を持つことを利用し、それぞれの点の位置に仮想的な音源があると仮定して仮想音源位置rでのＭＶＤＲビームフォーマの時間平均出力パワーを計算する。
【0029】
その後、計算結果、すなわち物体表面の立体的な音源の位置と音の伝搬状況などが表現された仮想映像がＭＲデバイスなどを用いて、現実の３次元空間である３Ｄデータ上に重畳して表示されることで、現実の音源の位置などが推定できる。
尚、仮想音源位置の設定、ビームフォーマの出力の計算、計算結果の３Ｄデータへの重畳は、数値計算ソフトウェアで行える。
尚、仮想音源位置の設定、ビームフォーマの出力の計算、計算結果の３Ｄデータへの重畳は、数値計算ソフトウェアで行える。
【0030】
図１７に、本システムによる反射音の可視化実験を行っている。実験装置（スピーカやマイクロホンアレイ）を会議室に設置したのち、スマートフォンに搭載されたLiDARを用いてスキャンを行った際の３Ｄデータを示した。
スピーカを部屋の中央に、マイクロホンアレイを部屋の手前側に設置した。壁からの反射音を確認するために、スピーカは左側の壁に向けて斜めに設置し、音源を再生した。その実験結果が図１７に示した。会議室の３Ｄデータに、ＭＶＤＲビームフォーマの出力結果を重畳して表示した。図１７によりスピーカの近傍位置と左の壁の一部に高い出力を示す仮想映像が確認できる。このように物体表面の立体的な音源の位置と音の伝搬状況の仮想映像により、スピーカからの直接音と、左の壁からの反射音を確認することができる。
スピーカを部屋の中央に、マイクロホンアレイを部屋の手前側に設置した。壁からの反射音を確認するために、スピーカは左側の壁に向けて斜めに設置し、音源を再生した。その実験結果が図１７に示した。会議室の３Ｄデータに、ＭＶＤＲビームフォーマの出力結果を重畳して表示した。図１７によりスピーカの近傍位置と左の壁の一部に高い出力を示す仮想映像が確認できる。このように物体表面の立体的な音源の位置と音の伝搬状況の仮想映像により、スピーカからの直接音と、左の壁からの反射音を確認することができる。
【0031】
本システムでは、会議室の画像データ上に音源位置推定結果を重畳して表示することによって、どこから音が発生しているかも視覚的にわかりやすく表すことができるのである。
【0032】
本システムでは、３次元音源位置推定においてLiDARによって取得した点群データの利用を創案した。比較的簡易に使えるようになってきているLiDARを用い観測空間の３Ｄデータを取得し、その３Ｄデータを利用して音源位置推定（音圧レベルを算出）しその結果を実際の空間の画像に重畳することで、音源が実際の空間のどこにあるのかをわかりやすく表示することを可能にしたものである。
反射音の可視化実験では、実験室と実験装置の画像データに音源位置推定結果を重ね合わせることで、スピーカからの直接音と壁からの反射音を視覚的に確認することができるのである。
反射音の可視化実験では、実験室と実験装置の画像データに音源位置推定結果を重ね合わせることで、スピーカからの直接音と壁からの反射音を視覚的に確認することができるのである。
【0033】
なお、点群座標を取得する方法については何ら限定するものではなく、上記のような３Ｄレーザスキャナ（LiDAR）による方法の他にも、例えば写真測量のように画像を利用して点群座標を取得する方法、３６０度カメラの画像を利用して点群座標を取得する方法、ＢＩＭやＣＩＭ等の設計データを利用して点群座標を取得する方法等のように、点群座標を取得できる方法であれば適用できる。
【0034】
前記３次元極座標１３もしくは３次元直交座標１４を設定したビームフォーミングによる解析及び点群座標を用いたビームフォーミングによる解析には、遅延和法（ＤＳ法）、最尤法（ＭＬ法）、最小分散無歪法（ＭＶＤＲ法）などによる解析法がある（図２参照）。しかるに本発明の第１発明では３次元極座標１３もしくは３次元直交座標１４を用いたビームフォーミング解析法の種類について何ら限定するものではない。
【0035】
しかしながら、本発明では空間内音源の３次元探査システムについて、マイクロホンアレイ４を構成する複数のマイクロホンに到達する際の音についての時間差をもとに、特定の方向・位置における音圧レベルを、特に最小分散無歪応答法 (ＭＶＤＲ)のアルゴリズムを用いたビームフォーミングにより解析し算出するものとした（図３参照）。これにより、明瞭、確実な解析し算出した結果が得られ、もって３次元の音圧レベル分布が立体的に明瞭に算出できて認識できるシステムを提供できる。
【0036】
ここで、最小分散無歪応答法 (ＭＶＤＲ)による解析、算出に使用されるアルゴリズムは、図３、図４、図５に示してある。
アルゴリズムとは、コンピュータにプログラムの形で与えて実行できるよう定式化された、処理手順の集合をいい、ＭＶＤＲによる解析、算出に使用されるアルゴリズムは、最小分散無歪応答法 (Minimum Variance Distortionless Response; MVDR)を用いた音源分離が行えるアルゴリズムになっている。
アルゴリズムとは、コンピュータにプログラムの形で与えて実行できるよう定式化された、処理手順の集合をいい、ＭＶＤＲによる解析、算出に使用されるアルゴリズムは、最小分散無歪応答法 (Minimum Variance Distortionless Response; MVDR)を用いた音源分離が行えるアルゴリズムになっている。
【0037】
そして、該アルゴリズムでは目的音源を歪ませない線形拘束条件の下で、出力パワーを最小化するような分離行列が求められるものとなっている。
これにより、音源位置と音の伝搬状況とを３次元的（立体的）に明瞭に解析出来るものとなった。
これにより、音源位置と音の伝搬状況とを３次元的（立体的）に明瞭に解析出来るものとなった。
【0038】
本発明において、前記配置した複数の仮想音源につき、例えばマイクロホンアレイ４を構成する４chマイクロホンで収録した仮想音源からの音から３次元極座標１３もしくは３次元直交座標１４上の各音圧レベルを解析、算出していくのである。前記ビームフォーミング処理部１０によるＭＶＤＲビームフォーマでの解析、算出には図３に示すアルゴリズムが用いられる。
かかる図３に示すアルゴリズムを用いた３次元極座標１３もしくは３次元直交座標１４上の各音圧レベルの解析、算出は、例えばＰＣ内の制御部、すなわち解析処理部２におけるビームフォーミング処理部１０で行われることはすでに述べた。
かかる図３に示すアルゴリズムを用いた３次元極座標１３もしくは３次元直交座標１４上の各音圧レベルの解析、算出は、例えばＰＣ内の制御部、すなわち解析処理部２におけるビームフォーミング処理部１０で行われることはすでに述べた。
【0039】
図３に示すアルゴリズムにおいて、ＰMVDRは仮想音源のパワー、換言すれば音圧レベルを指標する。また、ｒは仮想音源の位置を示す。さらに、ａ（ｒ）はステアリングベクトルを示す。
ステアリングベクトルとは、各マイクロホンで収録される信号の遅延などを考慮した音源からマイクロホンまでの伝達関数をいう。また、Ｒは観測信号ベクトル（各マイクロホン間）の相関行列を示す。
ステアリングベクトルとは、各マイクロホンで収録される信号の遅延などを考慮した音源からマイクロホンまでの伝達関数をいう。また、Ｒは観測信号ベクトル（各マイクロホン間）の相関行列を示す。
【0040】
【0041】
さらに、本発明では、図３によるアルゴリズムをビームフォーミング処理部１０で解析、算出する仮想音源パワーを一定間隔毎に複数回にわたって求めることも出来る。これによって時間的変動を伴う音圧レベル分布の変動を３次元的（立体的）に把握することが可能となる。すなわち、図８あるいは図９に示された音圧レベル分布の変動を時間の経過毎に可視化提供でき、もって音圧レベルの変動状態が時間の経過に従って確実に認識できるものとなる。
【0042】
また、前述したように、前記３次元音圧レベル分布の解析結果については３次元の実空間上に重畳して表示させることも出来るものともなっている（図１４参照）。
尚、前記図３に示すＭＶＤＲビームフォーマのアルゴリズムによる解析、算出の概略、具体例を説明する。説明の簡略化のため、平面での解析状態として図６に例示する。
尚、前記図３に示すＭＶＤＲビームフォーマのアルゴリズムによる解析、算出の概略、具体例を説明する。説明の簡略化のため、平面での解析状態として図６に例示する。
【0043】
図６から理解されるように、解析範囲を１０m、仮想音源点数を９点に設定してある。そして、図６に示す如くに仮想音源を略格子状に配置しておく。その後、仮想音源から各マイクロホンまでの経路長より、到達する音の時間ずれを算出するのである。
【0044】
算出例）
ch1:12.7（経路長）÷340（音速）＝0.037秒（到達時間）
ch2:12.9（経路長）÷340（音速）＝0.038秒（到達時間）
前記到達時間の差がマイクロホン間の時間ずれとなる。
ch1:12.7（経路長）÷340（音速）＝0.037秒（到達時間）
ch2:12.9（経路長）÷340（音速）＝0.038秒（到達時間）
前記到達時間の差がマイクロホン間の時間ずれとなる。
【0045】
ここで、各仮想音源について、マイクロホン間の時間ずれをａ（ｒ）として定義する。ついで、収録した音波について、マイクロホン間の相関行列Ｒ（ｋ）を算出する。相関行列Ｒ（ｋ）の算出例は図６に示す。
そして、前記算出した時間ずれであるａ（ｒ）の値と図６の算出例から求められたＲ（ｋ）の値により、各仮想音源のパワー（ＰMVDR）、すなわち各仮想音源の音圧レベルが算出できることになる。
そして、前記算出した時間ずれであるａ（ｒ）の値と図６の算出例から求められたＲ（ｋ）の値により、各仮想音源のパワー（ＰMVDR）、すなわち各仮想音源の音圧レベルが算出できることになる。
【0046】
ところで、本発明では、前記時間的経過毎に時系列的に複数の解析結果を迅速に解析、算出し、リアルタイムで出力する要望にも応えている。すなわち所定時間経過毎の複数の仮想音源の音圧レベル分布を迅速に解析、算出し、リアルタイムで出力できるのである。
その場合において、仮想音源点数の削減調整や時間がかかる計算式の省略など、コンピュータ内のビームフォーミング処理部１０によるアルゴリズム算出の高速化に関する改良が極めて重要となる（図１０参照）。
その場合において、仮想音源点数の削減調整や時間がかかる計算式の省略など、コンピュータ内のビームフォーミング処理部１０によるアルゴリズム算出の高速化に関する改良が極めて重要となる（図１０参照）。
【0047】
すなわち、仮想音源パワーを一定時間の間隔毎に求めることによって時間的変動を伴う音圧レベル分布を３次元的（立体的）に迅速にリアルタイムに把握したいときにおいても、前述の図８あるいは図９に示された音圧レベル分布を所定時間の経過毎に時系列的に迅速に、リアルタイムに複数取得でき、もって音圧レベルの変動状態が時間の経過毎に明確に確認、認識できるものとなる。
そのため、第一の改良点としては、ビームフォーミング処理部１０によるアルゴリズム算出における計算式の省略を企図すべくステアリングベクトルの算出についての改良を行った。
そのため、第一の改良点としては、ビームフォーミング処理部１０によるアルゴリズム算出における計算式の省略を企図すべくステアリングベクトルの算出についての改良を行った。
【0048】
すなわち、図１１に示す様に、各仮想音源からマイクロホンまでの伝達関数であるステアリングベクトルをフレームごとに、すなわち所定の時間の経過毎に計算するのではなく、事前に計算した結果、例えば当初の時間のときに計算した算出結果をその後の各フレーム、すなわち、その後の時間経過後のアルゴリズム計算で用いることとし、その結果、計算式の省略を図ったものである。
【0049】
次に、第二の改良点としては、仮想音源パワー、すなわち仮想音源の音圧レベルを算出する際に必要である相関行列の逆行列を、前記第一の改良点と同様に前フレーム（前の時間）の結果から再帰的に求め、その後の時間における逆行列の計算回数を削減することで計算時間を短縮させたものである（図１２）。
【0050】
さらに、第三の改良点としては、仮想音源点数の調整が行えることとした。マイクロホン間の時間ずれａ（ｒ）と、マイクロホン間の相関行列Ｒ（ｋ）の算出に際して、仮想音源点数が多い程、算出に時間を要する。しかし、逆に仮想音源点数が少なすぎると各仮想音源のパワー（ＰMVDR）が明瞭に算出できず、明瞭な音圧レベル分布が得られなくなる。
【0051】
そこで、音の伝搬状況の情報が損なわれない範囲で計算点数を調整出来るように構成した。すなわち、あくまで音の伝搬状況の情報が損なわれないことを前提としてコンピュータに設けられたビームフォーミング処理部１０によるアルゴリズム計算をコンピュータ操作者が所望する計算速度まで高速化出来るよう仮想音源点数の調整、換言すれば仮想音源密度の調整が出来るようにしたのである（図１３参照）。
【0052】
さらに、前述したように本発明では、音圧レベル分布の解析結果を実空間上で重畳して表示出来るようにするため、例えばＭＲデバイス６あるいはＡＲデバイス７による可視化が出来るように構成されている（図１４参照）。
【0053】
ここで、ＡＲとは「Augmented Reality（アグメンティッド・リアリティ）」の頭文字をとった略で、現実世界を仮想的に拡張する技術をいう。例えばスマートフォンを平面にかざすと家具が現れたり、アプリでポスターをかざした際に画面上で動き出すなど、現実を拡張してコンテンツを楽しむことができる。
【0054】
またＡＲに近い言葉にＶＲやＭＲがある。ＶＲとは、100％バーチャルの世界に入り込んだ体験ができる技術であり、ＭＲとは、表示されたデジタル情報を触って操作できる技術をいう。
【0055】
全仮想音源における音圧レベルの解析結果を重畳表示した場合、視覚・画面全体が例えば３Ｄモデルで覆われるように認識できるのである（図１４参照）。
しかしながら、ＡＲデバイス７などを使用して３Ｄモデルにより閲覧すると、場合によっては視覚酔いが発生する恐れがある。よって、本発明では仮想音源の解析結果を、選択した範囲において２次元の断面表示できるよう、かつ、それをカラーマップで可視化できるよう構成した（図１５参照）。
しかしながら、ＡＲデバイス７などを使用して３Ｄモデルにより閲覧すると、場合によっては視覚酔いが発生する恐れがある。よって、本発明では仮想音源の解析結果を、選択した範囲において２次元の断面表示できるよう、かつ、それをカラーマップで可視化できるよう構成した（図１５参照）。
【0056】
例えば、ＭＲデバイス６やＡＲデバイス７では、音の到来方向に向かって形が変化するビジュアライザーボール１５が３次元空間上に表示される。図１５ではマイクの近傍位置にビジュアライザーボール１５が表示されている。そして、この形を参考にして可視化面である２次断面図のカラーマップが設定されるものとなる。
【0057】
２次断面図としてのカラーマップの枚数、範囲、角度はＭＲデバイス６などのハンドジェスチャー１６で自由に設定できる。図１５の例では３枚のカラーマップが２時断面として設定された。
すなわち、３次元空間内で垂直面として示した２次断面図１７、該垂直面に直交する直交面として示した２次断面図１８及び水平面として示した２次断面図１９として設定されている。
すなわち、３次元空間内で垂直面として示した２次断面図１７、該垂直面に直交する直交面として示した２次断面図１８及び水平面として示した２次断面図１９として設定されている。
【0058】
このように、計測対象に合わせてカラーマップの枚数や範囲を設定することにより、音源の位置や音の伝搬状況をたとえ２次断面図で重畳表示したとしても３次元的に可視化することが出来るのである。そして視覚酔いが発生する恐れも減少する。
【0059】
以上、上記の構成により、音の伝搬状況が実空間上にリアルタイムで表示することが出来、もって騒音源の対策方法を検討しやすくなるとのメリットがある。
例えば、建築構造物の施工不具合や経年変化により発生する異音の探査に大きな威力を発揮する。
また、フラッターエコーや側路伝搬音、固体音といった音響障害の可視化、これら音響障害の対策効果の検証にも大きな効果が発揮できる。
例えば、建築構造物の施工不具合や経年変化により発生する異音の探査に大きな威力を発揮する。
また、フラッターエコーや側路伝搬音、固体音といった音響障害の可視化、これら音響障害の対策効果の検証にも大きな効果が発揮できる。
【0060】
ここで、フラッターエコーとは、音が多重反射を起こすことで生まれる音響障害をいい、壁と床、または天井と床が平行であったり、その平行面の面積が広かったりする場合に、発生した音が延々と反射を繰り返すことで生ずる。
フラッターエコーが発生すると、反響した音がしばらくの間残る。
フラッターエコーが発生すると、反響した音がしばらくの間残る。
【0061】
また、側路伝搬音あるいは固体音といった平面での可視化では捉えることができない音響障害についても本発明のシステムであれば、迅速に検証することができる。
【0062】
側路伝搬音とは室間の音の伝搬経路で界壁を直接透過する以外の経路の音をいう。界壁の遮音性能が良くても側路伝搬の影響で遮音性能が低下することもある。
また、固体音とは建物に力や衝撃が与えられたとき、振動が建物内を伝搬する音を言う。そして、この現象を固体伝搬といい、伝搬先で空気中に放射される音を固体伝搬音という。これは固体音とも表記される。
また、固体音とは建物に力や衝撃が与えられたとき、振動が建物内を伝搬する音を言う。そして、この現象を固体伝搬といい、伝搬先で空気中に放射される音を固体伝搬音という。これは固体音とも表記される。
【0063】
このような平面での可視化では捉えることができない音響障害について迅速に検証することができるのである。
さらに、建設現場などの騒音音源から敷地境界・民家までの騒音の伝搬状況の把握など騒音対策方法の検討や対策効果の検証にも効果を発揮できる。
さらに、建設現場などの騒音音源から敷地境界・民家までの騒音の伝搬状況の把握など騒音対策方法の検討や対策効果の検証にも効果を発揮できる。
【符号の説明】
【0064】
１ 収録部
２ 解析処理部
３ 可視化処理部
４ マイクロホンアレイ
５ ＡＲマーカ
６ ＭＲデバイス
７ ＡＲデバイス
８ 格納部
９ 計測パラメータ設定部
１０ ビームフォーミング処理部
１１ 表示部
１２ ＭＲ・ＡＲ表示例
１３ ３次元極座標
１４ ３次元直交座標
１５ ビジュアルアナライザーボール
１６ ハンドジェスチャー
１７ 垂直面として示した２次断面図
１８ 垂直面に直交する直交面として示した２次断面図
１９ 水平面として示した２次断面図
２ 解析処理部
３ 可視化処理部
４ マイクロホンアレイ
５ ＡＲマーカ
６ ＭＲデバイス
７ ＡＲデバイス
８ 格納部
９ 計測パラメータ設定部
１０ ビームフォーミング処理部
１１ 表示部
１２ ＭＲ・ＡＲ表示例
１３ ３次元極座標
１４ ３次元直交座標
１５ ビジュアルアナライザーボール
１６ ハンドジェスチャー
１７ 垂直面として示した２次断面図
１８ 垂直面に直交する直交面として示した２次断面図
１９ 水平面として示した２次断面図
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
