特開 2022-174479 空間内でのデータ可視化システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022174479

(43)【公開日】2022-11-24

(54)【発明の名称】空間内でのデータ可視化システム

(51)【国際特許分類】

   G10K 15/00 20060101AFI20221116BHJP

   G01H 3/00 20060101ALI20221116BHJP

【ＦＩ】

G10K15/00 L

G01H3/00 Z

【審査請求】有

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2021080301

(22)【出願日】2021-05-11

(71)【出願人】

【識別番号】000235543

【氏名又は名称】飛島建設株式会社

(71)【出願人】

【識別番号】899000068

【氏名又は名称】学校法人早稲田大学

(74)【代理人】

【識別番号】100082658

【弁理士】

【氏名又は名称】伊藤 儀一郎

(72)【発明者】

【氏名】小林 真人

(72)【発明者】

【氏名】岩根 康之

(72)【発明者】

【氏名】佐藤 考浩

(72)【発明者】

【氏名】及川 靖広

(72)【発明者】

【氏名】井上 敦登

(72)【発明者】

【氏名】寺岡 航

【テーマコード（参考）】

2G064

【Ｆターム（参考）】

2G064AB13

2G064DD08

2G064DD12

(57)【要約】

【課題】本発明は、ビームフォーミングによる音圧レベル分布データを現実の３次元空間における奥行き方向の異なった位置においてもそれぞれリアルタイムに計測できる音可視化システムを提供する。
【解決手段】本発明は、現実の空間を空間マッピング処理して、現実の空間でのＸ、Ｙ、Ｚ座標の座標位置を記憶し、前記座標位置が記憶された現実の空間内に、映像制御が行える別の映像を重ね合わせ、前記映像制御が行える別の映像の所定箇所での横断面を切り出して検知面が形成できると共に、該検知面に複数の計算用メッシュ面が形成でき、前記形成された複数の計算用メッシュ面上での取得データを検知手段で検知し、検知したデータを算出手段により算出して前記複数の計算用メッシュ面上でのデータ値を求め、求めた複数のデータ値からデータ分布図作成手段によりデータ分布図を生成し、現実空間でのデータ分布状況を可視化したことを特徴とする。
【選択図】図１

【特許請求の範囲】

【請求項1】

現実の空間を空間マッピング処理して、現実の空間でのＸ、Ｙ、Ｚ座標の座標位置を記憶し、前記座標位置が記憶された現実の空間内に、映像制御が行える別の映像を重ね合わせ、前記映像制御が行える別の映像の所定箇所での横断面を切り出して検知面が形成できると共に、該検知面に複数の計算用メッシュ面が形成でき、前記形成された複数の計算用メッシュ面上での取得データを検知手段で検知し、検知したデータを算出手段により算出して前記複数の計算用メッシュ面上でのデータ値を求め、求めた複数のデータ値からデータ分布図作成手段によりデータ分布図を生成し、現実空間でのデータ分布状況を可視化した、
ことを特徴とする空間内でのデータ可視化システム。

【請求項2】

音発出部からの音を集音する検知手段が配置された現実の空間を空間マッピング処理をして現実の空間でのＸ、Ｙ、Ｚ座標の座標位置を記憶し、前記座標位置が認識された現実の空間内に、前記検知手段が配置され、映像制御が行える別の映像を重ね合わせ、前記映像制御が行える別の映像の所定箇所での横断面を切り出して音検知面が形成できると共に、該音検知面に複数の計算用メッシュ面が形成でき、前記形成された複数の計算用メッシュ面上での音データを検知手段で検知し、検知した音データを算出手段により算出して前記複数の計算用メッシュ面上での音データ値を求め、求めた複数の音データ値から音データ分布図作成手段により音データ分布図を生成し、現実空間での音データ分布状況を可視化した、
ことを特徴とする空間内での音データ可視化システム。

【請求項3】

前記音データ値は音圧レベル強弱値であり、前記音データ分布図は、音圧レベル強弱分布図である、
ことを特徴とする請求項２記載の空間内での音データ可視化システム。

【請求項4】

前記分布図は、音圧レベル強弱をカラーで色分け表示できる、
ことを特徴とする請求項２または請求項３記載の空間内での音データ可視化システム。

【請求項5】

前記表示部は光透過ディスプレイである、
ことを特徴とする請求項２、請求項３または請求項４記載の空間内での音データ可視化システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音可視化システムに係り、例えば、現実の空間内での奥行き方向での異なる位置からのそれぞれ音圧レベルを計測できて該それぞれの音圧レベル分布の計測結果をリアルタイムで現実の３次元空間上に立体的に可視化できる音などをデータ化して可視化するシステムに関するものである。

【背景技術】

【0002】

従来の音可視化装置としては、入力した音信号に基づいて最小分散法を適用したビームフォーミングにより音の到来方向を探査し、該探査結果を提示する特開２０１５－２１９１３８号の発明が知られている。
また、３次元インテンシティプローブを用いて３次元空間における音響インテンシティを測定する手法（特開２００３－２９４８２２号）も知られている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－２１９１３８号公報

【特許文献2】特開２００３－２９４８２２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、前記特許文献１による音可視化装置は、音圧レベル分布を測定する断面からマイクロホンまでの距離を任意で設定することにより測定を行い、測定結果の表示はＰＣのディスプレイ上で平面的に表示されるのみである。そのため、評価面の例えば奥行方向の異なった位置における音圧レベル情報が把握しにくいという課題があった。

【0005】

また特許文献２による計測手法では、定常的な音でなければ音の流れを可視化することができず、変動的な音をリアルタイムで計測することができないという課題がある。

【0006】

そこで、本発明は前記従来の課題を解消すべく創案されたものであり、ビームフォーミングによる音圧レベル分布データを現実の３次元空間における奥行き方向の異なった位置においてもそれぞれリアルタイムに計測できると共に、計測したそれぞれの音圧レベル分布データからカラー表示で色分けした音圧レベル分布図を現実の空間である３次元空間内で表示すべく生成でき、もって奥行方向の異なった位置での音圧レベル情報について確実に把握、認識できる音可視化システムを提供することを目的とするものである。

【課題を解決するための手段】

【0007】

本発明は、
現実の空間を空間マッピング処理して、現実の空間でのＸ、Ｙ、Ｚ座標の座標位置を記憶し、前記座標位置が記憶された現実の空間内に、映像制御が行える別の映像を重ね合わせ、前記映像制御が行える別の映像の所定箇所での横断面を切り出して検知面が形成できると共に、該検知面に複数の計算用メッシュ面が形成でき、前記形成された複数の計算用メッシュ面上での取得データを検知手段で検知し、検知したデータを算出手段により算出して前記複数の計算用メッシュ面上でのデータ値を求め、求めた複数のデータ値からデータ分布図作成手段によりデータ分布図を生成し、現実空間でのデータ分布状況を可視化した、
ことを特徴とし、
または、
音発出部からの音を集音する検知手段が配置された現実の空間を空間マッピング処理をして現実の空間でのＸ、Ｙ、Ｚ座標の座標位置を記憶し、前記座標位置が認識された現実の空間内に、前記検知手段が配置され、映像制御が行える別の映像を重ね合わせ、前記映像制御が行える別の映像の所定箇所での横断面を切り出して音検知面が形成できると共に、該音検知面に複数の計算用メッシュ面が形成でき、前記形成された複数の計算用メッシュ面上での音データを検知手段で検知し、検知した音データを算出手段により算出して前記複数の計算用メッシュ面上での音データ値を求め、求めた複数の音データ値から音データ分布図作成手段により音データ分布図を生成し、現実空間での音データ分布状況を可視化した、
ことを特徴とし、
または、
前記音データ値は音圧レベル強弱値であり、前記音データ分布図は、音圧レベル強弱分布図である、
ことを特徴とし、
または、
前記分布図は、音圧レベル強弱をカラーで色分け表示できる、
ことを特徴とし、
または、
前記表示部は光透過ディスプレイである、
ことを特徴とするものである。

【発明の効果】

【0008】

本発明によれば、ビームフォーミングによる音圧レベル分布データを現実の３次元空間における奥行き方向の異なった位置においてもそれぞれリアルタイムに計測できると共に、計測したそれぞれの音圧レベル分布データからカラー表示で色分けした音圧レベル分布図を現実の空間である３次元空間内で表示すべく生成でき、もって奥行方向の異なった位置での音圧レベル情報について確実に把握、認識できる音可視化システムを提供出来るとの優れた効果を奏する。

【図面の簡単な説明】

【0009】

【図1】本発明の概略構成を説明する説明図である。

【図2】ＭＲデバイスの概略構成を説明する説明図(1)である。

【図3】ＭＲデバイスの概略構成を説明する説明図(2)である。

【図4】ＭＲデバイスで別の映像オブジェクトを取り込み、該映像オブジェクト内でのマイクロホンアレイの位置、向きを認識し、先に読み込んだ３次元空間でのマイクロホンアレイの位置、向きと合わせ、３次元空間の座標データと紐付ける操作を説明する説明図である。

【図5】前記紐付け操作によりＭＲデバイスの装着者が移動してもマイクロホンアレイが配置された３次元空間の映像が変化しないことを説明する説明図である。

【図6】マイクロホンアレイの位置や向きを手動で調整する操作を説明する説明図である。

【図7】本発明による音可視化システムの設定操作を説明する説明図である。

【図8】本発明により音を可視化した状態を説明する説明図（１）である。

【図9】本発明により音を可視化した状態を説明する説明図（２）である。

【図10】本発明により音を可視化した状態を説明する説明図（３）である。

【図11】表示部に光透過性ディスプレイを使用した場合の説明図である。

【図12】表示部に光透過性ディスプレイではないディスプレイを使用した場合の説明図である。

【発明を実施するための形態】

【0010】

以下本発明を図に示す実施例に基づいて説明する。
図１は本発明の概略構成を説明する概略構成説明図である。
符号１は例えば１６個のマイクロホン１５を所定間隔に配置して構成した１６ｃｈのマイクロホンアレイであり、特許請求の範囲の欄に記載されている検知手段に対応する。しかし、検知手段としてはマイクロホンアレイ１に限定されるものではない。

【0011】

該マイクロホンアレイ１が集音した前方の３次元空間所定位置からの音圧レベルの情報は演算ユニット２に送出される。そして前記音圧レベルは演算ユニット２のバンドパスフィルタ３を通過して所定周波数の音圧レベルが取得され、取得された音圧レベルはビームフォーミング処理部４により、ビームフォーミング処理される。

【0012】

すなわち、マイクロホンアレイ１の複数のマイクロホン１５から集音され、演算ユニット２のバンドパスフィルタ３を通過して所定周波数にされた音圧レベルはビームフォーミング処理されて音圧レベル分布データが生成される。音圧レベル分布データとは、例えば、音圧レベル（ｄＢ）の強弱を分布図として示すことの出来るデータとして処理されたものをいう。

【0013】

そして、この音圧レベル分布データは映像可視化部６においてカラー表示で色分けされた音圧レベル分布図として映像生成され、該映像が表示部１１などにおいて可視化されるものとなる。
なお、前記カラー表示で色分けされた音圧レベル分布図のデータは、ＰＣなどで構成された制御装置５に送出され、記憶部に格納可能とされている。
ここで、前記演算ユニット２とＰＣなどの制御装置５を一体装置として構成しても構わないし、分離して構成しても構わない。

【0014】

さらに、前記音圧レベル分布図のデータは、ＭＲデバイス７にも送出され、ＭＲデバイス７の制御部１２で処理されて映像可視化される。なお、ＭＲデバイス７における「ＭＲ」のフルスペルは「Mixed Reality」であり、「Mixed Reality」は複合現実と訳されている。

【0015】

ここで、前記ＭＲデバイス７は、ＲＧＢカメラなどの撮影手段８及び深度センサなどの検出部９、光透過ディスプレイなどの表示部１１、制御部１２、入力部１８を備えて構成されている（図２参照）。

【0016】

なお、図１において、ＭＲデバイス７は４台設置されているが、この数に限定されない。１台でも構わないし、複数台でも構わない。そして、複数台のＭＲデバイス７が眼鏡型のデバイスとして構成されると、眼鏡型の光透過ディスプレイである表示部１１を介して現実の実空間内に例えば音の発出状態などが可視化された音圧レベル分布図が重畳された映像をそれぞれ視ることが出来る。

【0017】

図２、図３はＭＲデバイス７の概略構成説明図であり、図１に示すように、ビームフォーミング処理されて生成された音圧レベル分布データは、ＭＲデバイス７に送出され、該ＭＲデバイス７の制御部１２で音圧レベル分布データ（例えばバイナリーデータ１３など）がカラー表示で色分けした音圧レベル分布図（カラーマップ１４）が可視化できるよう制御され、生成されるものとなる。

【0018】

ここで、さらにＭＲデバイス７の動作につき説明すると、眼鏡型のＭＲデバイス７は、光透過ディスプレイなどの表示部１１を有するため、肉眼で現実の実空間が視られる。
しかし、ＲＧＢカメラ８などの撮影手段８と深度センサなどの検出部９も有しており、これにより立体的な現実の空間を撮影でき、かつ撮影された映像データを保存データ１０として保存することもできる様にも構成されている。
そして、撮影された立体的な現実の実空間は、Ｘ座標、Ｙ座標、Ｚ座標の座標位置が認識できる３次元空間として制御部１２により空間マッピング処理される（図４参照）。

【0019】

該空間マッピング処理により例えば眼鏡型ＭＲデバイス７の装着者が現実の実空間である３次元空間のどの位置にいるのかをも認識することもできることとなる（自己位置推定機能）。これらマッピングと自己位置推定の処理については、例えば公知のＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ,）方式等により行われる。

【0020】

ここで、ＭＲデバイス７では、前記空間マッピング処理されたＸ座標、Ｙ座標、Ｚ座標の座標位置が認識できる現実の実空間内に別の映像オブジェクトも重ね合わせて配置できる。そして、前記Ｘ座標、Ｙ座標、Ｚ座標の座標位置が認識できる現実の実空間内に前記別の映像オブジェクトにおける３ＤＣＧなどの仮想映像を加えることができる。
ここで、前記仮想映像は制御部１２によって映像編集制御ができる様構成されている。

【0021】

しかして、ＭＲデバイス７で別の映像オブジェクトを取り込む際、該映像オブジェクト内には、前記現実の実空間内の座標位置と別の映像オブジェクト内での座標位置とを一致させるため、例えば、前記空間マッピング処理された現実の実空間で配置されているマイクロホンアレイ１と同様なマイクロホンアレイ１を配置しておく。

【0022】

そして、先に空間マッピング処理された現実の実空間内でのマイクロホンアレイ１の位置、向きと、別の映像オブジェクト内で取り込んだマイクロホンアレイ１の位置、向きとを合わせ、現実の実空間の座標データと別の映像オブジェクトの座標データとを紐付ける操作を行うのである。

【0023】

すなわち、ＭＲデバイス７は現実の実空間、例えばマイクロホンアレイ１が配置されたた立体的な現実の実空間をＸ座標、Ｙ座標、Ｚ座標の座標位置が認識できる３次元空間として空間マッピング処理し、該空間マッピング処理された現実の実空間内に、３ＤＣＧなど制御部１２によって映像編集制御ができる仮想映像が加えられた別の映像オブジェクトを重ね合わせ、ＭＲデバイス７の眼鏡型光透過ディスプレイの表示部１１を通して肉眼で認識できるものとした。

【0024】

すなわち、現実の実空間に、例えば本来映像として可視化できない音の発出状態を３ＤＣＧなどに表示できるように構成し、別の映像オブジェクトの映像を重ね合わせ表示して可視化できるように構成したのである。

【0025】

例えば、音が現実の実空間においてどこ位置からどの程度の大きさで発出しているかを別の映像オブジェクトを使用して、特に現実の実空間の奥行き方向複数の位置での音の発出状況、音の強弱状況を検知できる様に構成したのである。

【0026】

さらに、検知した音の発出状況、音の強弱状況のデータを処理して映像として編集し、これを光透過ディスプレイの表示部１１に表示出来るように構成し、肉眼で認識できる現実の実空間に重ね合わせて可視できるものとしたのである。

【0027】

前記したように、本発明のＭＲデバイス７にはＲＧＢカメラなどで構成された撮影手段８をも有している。そして、該撮影手段８で撮影された現実空間の映像は、Ｘ、Ｙ、Ｚ方向の座標位置が認識された３次元空間映像として空間マッピング処理される。ここで、奥行き方向の座標を認識するために深度センサなどの検出部９も備えられている。

【0028】

なお、前記撮影手段８と検出部９とによって、撮影された現実の実空間形状につき、奥行き位置をも認識できる３次元空間形状として空間マッピング処理された空間マッピングデータは記憶手段により記憶される。

【0029】

ここで、空間マッピング処理により現実の実空間の座標位置が認識、記憶された後は、ＭＲデバイス７を装着し操作する操作者が前記現実の実空間のいずれの位置に位置してＭＲデバイス７を装着し操作しているのかについても認識できる。

【0030】

また、ＭＲデバイス７では、空間マッピング処理が行われた現実の実空間について重ね合わせる別の映像オブジェクトも生成でき、該別の映像オブジェクトは映像編集制御ができる例えば３ＤＣＧなどの映像も付加できる。

【0031】

この別の映像オブジェクトとしては例えば図４に示す例が挙げられる。そして、この映像オブジェクトには、既に現実の実空間につき空間マッピングが行われ、Ｘ、Ｙ、Ｚ座標が認識できる所定位置に配置されたマイクロホンアレイ１と同様のマイクロホンアレイ１を含む映像が採用される。

【0032】

さらに、前記別の映像オブジェクトでの映像内には、映像編集制御できる例えば３ＤＣＧ映像を取り込むことが出来るものとなっている。
従って、別の映像オブジェクトでは、前記映像編集制御できる３ＤＣＧ映像としてマイクロホンアレイ１の前方空間の任意位置の空間を横断面に切り取る制御が出来、その横断面を音検知面１６などの検知面とする３ＤＣＧ映像が生成できるのである。さらに、前記音検知面１６を複数個の略正方形状をなす計算メッシュ面１７に分割する３ＤＣＧ映像が生成できるのである。

【0033】

このように、別の映像オブジェクトの映像では、例えば音の発出状況、音の強弱状況を処理できる音検知面１６、計算メッシュ面１７を有し、映像編集が行える３ＤＣＧ映像を有して構成することが出来る。

【0034】

なお、マイクロホンアレイ１に配置されたマイクロホン１５の数は何ら限定されない。本実施例では１６ｃｈのマイクロホンアレイ１が示されており、１６本のマイクロホン１５が使用されている。また、音検知面１６には複数に分割された計算メッシュ面１７が設けられるが、この計算メッシュ面１７の数についても何ら限定されない。例えば横３３個、縦３３個で構成して構わない。

【0035】

このように前記別の映像オブジェクトの映像としては、例えば映像内に配置されたマイクロホンアレイ１と、その前方に音を発出する空間においてその空間の横断面を切り出し、切り出した横断面を映像処理できる３ＤＣＧ映像としての複数の計算メッシュ面１７で構成された音検知面１６とを有する映像として構成し、この映像を用いて後述するビームフォーミング処理を行うことにより、マイクロホンアレイ１によって映像内に設けられた所定の奥行き位置にある音検知面１６の音圧レベルが計測でき、さらに音圧レベル分布データが算出でき、この音圧レベル分布データによる音圧レベル分布図がカラー表示できるものとされるのである。

【0036】

なお、前記音圧レベルを計測する前記音検知面１６の位置はマイクロホンアレイ１に配置された複数のマイクロホン１５の位置や向きが基準となって決定されるため、前記現実の実空間につき座標認識を行って空間マッピング処理された現実の実空間内でのマイクロホンアレイ１の設置位置や向きと、別の映像オブジェクトにおける映像の中でのマイクロホンアレイ１の設置位置や向きを一致させなければならず、そのためＭＲデバイス７などで前記一致させる設定をすることが必要となる。

【0037】

そこで本発明では、ＭＲデバイス７で表示される別の映像オブジェクトの映像の中でのマイクロホンアレイ１の設置位置や向きを空間マッピング処理された現実の空間の中でのマイクロホンアレイ１の設置位置や向きに合わせるべく図６に示すように手動で合わせて設定したり、あるいはマイクロホンアレイ１に取り付けたマーカーを用いてマイクロホンアレイ１の設置位置や向きを合わせる設定を行っている。

【0038】

上記のようにマイクロホンアレイ１の設置位置や向きを合わせる操作をすることで、マイクロホンアレイ１の位置や向きを含めた現実の実空間映像と別の映像オブジェクトの映像との位置関係を揃えることができ、ひいては現実の実空間映像内での正しい位置にある音検知面１６での音圧レベル分布データに基づく音圧レベル分布図のカラーマップを表示することができるものとなる。

【0039】

なお、たとえ眼鏡型のＭＲデバイス７を装着した装着者が移動したとしてもあらかじめ現実の空間につき空間マッピング処理を行い、座標認識を行った空間映像と、該空間映像に重ね合わされる別の映像オブジェクトの前記カラーマップなど音圧レベル分布図を検出する位置の位置関係は前記空間映像上で固定され、その位置関係が狂ってしまうことがない。

【0040】

次に、前記マイクロホンアレイ１と音検知面１６、計算メッシュ面１７を使用してのビームフォーミング処理につき説明する。
ビームフォーミング処理とは音の可視化技術の一手法であり、マイクロホンアレイ１（複数の無指向性マイクロホンを平面上に配置したもの）などを用いて、デジタル処理された３次元空間映像内奥行き方向のある横断面（音検知面１６）での計算メッシュ面１７上の音圧レベルを算出する手法をいう。

【0041】

そして、上記算出した音圧レベルの分布データからの音圧レベル分布図をカラー表示化し、別のオブジェクトの映像として前記３次元空間映像と重ね合わせることで、３次元空間映像の奥行き方向のいずれの箇所においてもその音位置を可視化することができるものとなるのである。

【0042】

ビームフォーミング処理方法の概略につき説明する。
ある方向からマイクロホンアレイ１に音が入射した場合、複数配置されている各マイクロホン１５での音の到達時刻が少しずつずれる。しかし、各マイクロホン１５の位置と音速からこの到達時刻の差は計算できる。すなわち、マイクロホンアレイ１との距離を任意で設定した可視化したい音検知面１６に複数の計算メッシュ面１７を形成し、マイクロホン１５の位置関係と音速をもとに、それぞれの計算メッシュ面１７の位置から到来する音が各マイクロホン１５に入射する際の時間差を求めるのである。

【0043】

次に、この時間差の分、各マイクロホン１５の信号にディレイ（遅延）をかけて到達時刻をそろえ、同相で足し合わせることにより、その方向から到来する音のみを強調することが出来る。ついで、多数の方向についても同様の処理を行い、可視化したい断面（音圧検知面１６）における各計算メッシュ面１７上の音圧レベルを算出し、音圧レベル分布データを生成する。

【0044】

そして、前記生成された音圧レベル分布データを分布図にし、制御部１２にてカラーマップ表示することにより、音の情報を視覚的に把握することができるのである。

【0045】

前記音圧レベル分布データを分布図にし、制御部１２にてカラーマップ表示した具体例を図８、図９に示す。実際の図では音圧レベルの強弱を赤色などの色を使用し、色の違いと色の濃淡で表示している。すなわち、濃い赤色は、音圧レベルが高く、強い箇所として表示し、薄い赤色あるいは黄色や緑色は音圧レベルが低く、弱い箇所として表示してある。図８はマイクロホンアレイ１から１．５ｍの測定距離での音圧レベル分布図を示したものであり、図９はマイクロホンアレイ１から３．０ｍの測定距離での音圧レベル分布図を示したものである。図において分布図はモノクロで表現せざるを得ないため、色の濃い箇所は音圧レベルが高く、色の薄い箇所は音圧レベルが低い箇所になっている。
いずれも近傍位置に音発出装置であるスピーカー２０を配置してあり、そのため音圧レベル分布図はほぼ同じ分布を示した図形になっている。

【0046】

また、図１０は、図８や図９と異なり、ＭＲデバイス７の装着者がマイクロホンアレイ１と音検知面１６とが配置してある配置面の左側から音検知面１６を視た状態を示しているが、この位置から音検知面１６を視た場合にもカラーマップ化した音圧レベル分布図を確認できる。

【0047】

なお、処理制御を高速に行えば、過渡音や非定常な音についても可視化することができる。すなわち、制御部１２の処理能力は例えば最大２５fpsの処理能力が認められるからである。

【0048】

なお、音圧レベル分布図のカラー表示をする際の色分けや輝度はＭＲデバイス７の制御部１２などで変更可能とされており、変更されたカラー表示で色分けした音圧レベル分布図はカラーマップ１４として表示部１１上に表示されると共に、記憶部に保存データ１０として保存される（図３参照）。

【0049】

すなわち、本発明の音可視化システムでは、リアルタイムな音圧レベル分布の計測が出来ることに加えて、計測した音圧レベル分布をＭＲデバイス７に保存することができる構成となっている。さらに保存した音圧レベル分布をカラー表示された音圧レベル分布図（カラーマップ１４）として現実の実空間上に投影して再現（再生）することもできる様構成されている。

【0050】

ここで、音圧レベル分布のデータは保存時のバンドパスフィルタ３の上下限値や計測断面距離の値とともに、数値データとしてＭＲデバイス７に保存されることになる。そして、保存データの再生時にはこの数値データをもとにMRデバイス７内でカラーマップ１４を作成し、３ＤＣＧの形で現実の実空間上に投影されるのである。

【0051】

なお、音圧レベルの計測データの保存及び再生手順につき以下に説明する。
まず、バンドパスフィルタ３の上下限値、測定断面距離、結果を保存する時間（長さ）をＵＩ１９で設定する。次に、音圧レベル分布の計測を開始する。
そして、任意のタイミングでＵＩ１９の保存開始ボタンを押すと、事前に設定した時間分の計測結果が保存されるものとなる。次に、ＵＩ１９の保存データ再生ボタンを押すと、保存した音圧レベル分布がカラーマップ１４として例えば光透過ディスプレイの表示部１１を介して現実の実空間上で再現（再生）されることになる。

【0052】

さらに本発明の処理フローについてその概略を説明する。
例えば１６ｃｈのマイクロホンアレイで集音した音情報から、演算ユニット２では事前にＵＩ（ユーザーインターフェイス）１９で設定したバンドパスフィルタの値と音圧レベル分布を計測する断面（音検知面１６）の位置の情報をもとにビームフォーミングの処理を行う。この処理によりある断面（音検知面１６）での各計算メッシュ面１７での音圧レベルが求められ、この情報がMRデバイス７、ＰＣなどの制御装置５に送られる。

【0053】

なお、ＵＩ（ユーザーインターフェイス）１９でのバンドパスフィルタ値の設定などの設定操作は図７に示すように、例えば表示部１１に設定画面を表示させ、該画面をタップするなどして各設定値が入力できるようにしてある。

【0054】

制御装置５からは音圧レベルデータとＵＩ１９での計測設定の情報（ビームフォーミング処理する特定周波数の設定、カラーマップを表示する検出距離の設定など）をバイト配列に変換したデータもMRデバイス７に送られ、ＭＲデバイス７の制御部１２では前記ＵＩ値をもとに音圧レベル分布データから音圧レベル分布図データが生成される。そして、生成された音圧レベル分布図データの情報をカラーマップの表示色データに再変換し、この表示色データからカラーマップ１４を作成するのである。

【0055】

また、眼鏡型のＭＲデバイス７について光透過ディスプレイなどの表示部１１を用いると、肉眼で視る現実の空間映像上に別のオブジェクト映像である音圧レベル分布図のカラーマップ映像を重ね合わせて視ることが出来る。

【0056】

すなわち、前述したように、ＭＲデバイス７は眼鏡型の機器が考えられており、この眼鏡型のＭＲデバイス７には、光透過性の表示部１１が採用される。従って、光透過性の表示部１１を介して肉眼で視る現実空間に前記音圧レベル分布図のカラーマップ映像を重ね合わせて可視することが出来、映像上での音可視化がリアルに行えることとなる。図１１において説明されたとおりである。

【0057】

また、ＭＲデバイス７の表示部１１には、光透過ディスプレイではないタブレット型の表示部１１も使用できる。この場合、タブレットの表示部１１上にはカメラで撮影された現実空間が映し出され、この映像に前記音圧レベル分布図のカラーマップ映像を重ね合わせて可視するものとなる。図１２において説明されたとおりである。

【0058】

また、奥行き方向に移動させるなどして音検知面１６の位置を変更し、検出距離を変更したり、音圧レベルの測定範囲を変更する（検出周波数範囲の変更）などの測定変更設定はMRデバイス７上のみならず制御装置５上でも変更できる。すなわち、設定画面を選択して該画面を表示させ、入力部１８によって設定変更するのである。

【0059】

その設定変更情報は例えば制御装置５に送られ、ビームフォーミングの処理に反映されるものとなる。なお、別の音検知面１６でのカラーマップ情報を欲する場合には、一旦先に行ったカラーマップ表示操作を中止する必要がある。

【0060】

本発明については、以下の示すような実施例が想定されるものである。例えば、建築物における外部騒音の流入部（遮音欠損部）探査、あるいは工場設備、生産ラインでの異音発生箇所の探査による不具合検査、あるいは建設工事現場の設備に対する音探査、あるいは工場建屋など、騒音発生施設の漏音部位の探査などが挙げられる。

【符号の説明】

【0061】

１ マイクロホンアレイ
２ 演算ユニット
３ バンドパスフィルタ
４ ビームフォーミング処理部
５ 制御装置
６ 映像可視化部
７ ＭＲデバイス
８ 撮影手段
９ 検出部
１０ 保存データ
１１ 表示部
１２ 制御部
１３ バイナリーデータ
１４ カラーマップ
１５ マイクロホン
１６ 音検知面
１７ 計算メッシュ面
１８ 入力部
１９ ＵＩ
２０ スピーカー

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】