7637386 音可視化システム、音可視化装置、音可視化方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-02-19

(45)【発行日】2025-02-28

(54)【発明の名称】音可視化システム、音可視化装置、音可視化方法、及びプログラム

(51)【国際特許分類】

   G01B 9/02015 20220101AFI20250220BHJP

   G01H 9/00 20060101ALI20250220BHJP

【ＦＩ】

G01B9/02015

G01H9/00 C

【請求項の数】 6

(21)【出願番号】P 2021101271

(22)【出願日】2021-06-18

(65)【公開番号】P2023000446

(43)【公開日】2023-01-04

【審査請求日】2023-10-24

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(73)【特許権者】

【識別番号】899000068

【氏名又は名称】学校法人早稲田大学

(74)【代理人】

【識別番号】100121706

【弁理士】

【氏名又は名称】中尾 直樹

(74)【代理人】

【識別番号】100128705

【弁理士】

【氏名又は名称】中村 幸雄

(74)【代理人】

【識別番号】100147773

【弁理士】

【氏名又は名称】義村 宗洋

(72)【発明者】

【氏名】石川 憲治

(72)【発明者】

【氏名】白木 善史

(72)【発明者】

【氏名】守谷 健弘

(72)【発明者】

【氏名】及川 靖広

(72)【発明者】

【氏名】矢田部 浩平

【審査官】信田 昌男

(56)【参考文献】

【文献】特開２０１５－２０６６６５（ＪＰ，Ａ）

【文献】特開平１１－１０８７６３（ＪＰ，Ａ）

【文献】特開２００３－１７２６５６（ＪＰ，Ａ）

【文献】特表２０１９－５０５８０４（ＪＰ，Ａ）

【文献】特開２０００－０８８５１５（ＪＰ，Ａ）

【文献】特開平１０－１３２５０７（ＪＰ，Ａ）

【文献】登録実用新案第３０９０７１１（ＪＰ，Ｕ）

【文献】特開平１１－０１４４６２（ＪＰ，Ａ）

【文献】特開２００５－２４１３４８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｂ ９／００－９／１０

Ｇ０１Ｈ ９／００

Ｇ０１Ｂ １７／００－１７／０８

(57)【特許請求の範囲】

【請求項1】

レーザー光を放射するレーザーと、
前記レーザー光の光路を２つに分離する第一ビームスプリッタと、
微細構造と形状の不連続との少なくとも何れかを含むレンズを少なくとも一部に含み、前記第一ビームスプリッタを通過後の物体光のビーム径を拡大する拡大レンズシステムと、
微細構造と形状の不連続との少なくとも何れかを含むレンズを少なくとも一部に含み、前記拡大レンズシステムを通過後の前記物体光のビーム径を縮小する縮小レンズシステムと、
前記縮小レンズシステムを通過後の前記物体光と参照光とを結合する第二ビームスプリッタと、
可視化対象の音は、前記拡大レンズシステムと前記縮小レンズシステムとの間に生成されるものとし、第二ビームスプリッタによって結合された光を干渉画像として記録するカメラと、
前記干渉画像から、演算によって、時系列の位相分布を得る位相分布計算部と、
時系列の前記位相分布に含まれる音以外の成分を除去し、音情報を抽出するフィルタリング部とを含む、
音可視化システム。

【請求項2】

レーザー光を放射するレーザーと、
前記レーザー光の光路を２つに分離する第一ビームスプリッタと、
微細構造と形状の不連続との少なくとも何れかを含むレンズを少なくとも一部に含み、前記第一ビームスプリッタを通過後の物体光のビーム径を拡大する拡大レンズシステムと、
微細構造と形状の不連続との少なくとも何れかを含むレンズを少なくとも一部に含み、前記拡大レンズシステムを通過後の前記物体光のビーム径を縮小する縮小レンズシステムと、
前記縮小レンズシステムを通過後の前記物体光をスペックルパターンを備えた物体光に変換するディフューザーと、
前記スペックルパターンと参照光とを結合する第二ビームスプリッタと、
可視化対象の音は、前記拡大レンズシステムと前記縮小レンズシステムとの間に生成されるものとし、第二ビームスプリッタによって結合された光を干渉画像として記録するカメラと、
前記干渉画像から、演算によって、時系列の位相分布を得る位相分布計算部と、
時系列の前記位相分布に含まれる音以外の成分を除去し、音情報を抽出するフィルタリング部とを含む、
音可視化システム。

【請求項3】

請求項１または請求項２の位相分布計算部とフィルタリング部とを含む音可視化装置であって、
前記位相分布に含まれる音以外の成分は、微細構造と形状の不連続との少なくとも何れかを含むレンズに起因するノイズを含む、
音可視化装置。

【請求項4】

レーザーがレーザー光を放射するステップと、
第一ビームスプリッタが前記レーザー光の光路を２つに分離するステップと、
微細構造と形状の不連続との少なくとも何れかを含むレンズを少なくとも一部に含む拡大レンズシステムが、前記第一ビームスプリッタを通過後の物体光のビーム径を拡大するステップと、
微細構造と形状の不連続との少なくとも何れかを含むレンズを少なくとも一部に含む縮小レンズシステムが、前記拡大レンズシステムを通過後の前記物体光のビーム径を縮小するステップと、
第二ビームスプリッタが前記縮小レンズシステムを通過後の前記物体光と参照光とを結合するステップと、
可視化対象の音は、前記拡大レンズシステムと前記縮小レンズシステムとの間に生成されるものとし、カメラが、第二ビームスプリッタによって結合された光を干渉画像として記録するステップと、
前記干渉画像から、演算によって、時系列の位相分布を得る位相分布計算ステップと、
時系列の前記位相分布に含まれる音以外の成分を除去し、音情報を抽出するフィルタリングステップとを含む、
音可視化方法。

【請求項5】

レーザーがレーザー光を放射するステップと、
第一ビームスプリッタが前記レーザー光の光路を２つに分離するステップと、
微細構造と形状の不連続との少なくとも何れかを含むレンズを少なくとも一部に含む拡大レンズシステムが、前記第一ビームスプリッタを通過後の物体光のビーム径を拡大するステップと、
微細構造と形状の不連続との少なくとも何れかを含むレンズを少なくとも一部に含む縮小レンズシステムが、前記拡大レンズシステムを通過後の前記物体光のビーム径を縮小するステップと、
ディフューザーが前記縮小レンズシステムを通過後の前記物体光をスペックルパターンを備えた物体光に変換するステップと、
第二ビームスプリッタが前記スペックルパターンと参照光とを結合するステップと、
可視化対象の音は、前記拡大レンズシステムと前記縮小レンズシステムとの間に生成されるものとし、カメラが、第二ビームスプリッタによって結合された光を干渉画像として記録するステップと、
前記干渉画像から、演算によって、時系列の位相分布を得る位相分布計算ステップと、
時系列の前記位相分布に含まれる音以外の成分を除去し、音情報を抽出するフィルタリングステップとを含む、
音可視化方法。

【請求項6】

請求項３の音可視化装置としてコンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、光を用いた音場の可視化技術に関する。

【背景技術】

【0002】

空間を音が伝播する様子や音源から音が放射される様子を直接観測することは、音響現象を理解する上で非常に重要である。そのような音の可視化は一般にマイクロホンアレイを用いて行われるが、多数のマイクロホンを空間的に密に並べることはシステムの肥大化やコストの増加に繋がるうえ、マイクロホンアレイの存在自体が測定対象となる音場を変化させてしまうといった課題がある。そのため、非接触かつ高い空間分解能を有する音の可視化手法として、光を用いた手法が提案されている。まず、音響光学効果と呼ばれる音による媒質の屈折率変化を利用した音場観測法について説明する。音響光学効果によると、音による光の位相変化φ_sは、

【数1】

と表される。ただし、k_iは光の波数、n₀は定常状態の空気屈折率、p₀は定常状態の大気圧、γは空気の比熱比、pは音圧である。積分は光の伝搬経路に沿った線積分を表しており、ここでは光路をx軸と平行となるように定義した。k_i、n₀、p₀、γは計測条件から分かる定数である。ここで測定される量は空間内の一点の音圧ではなく、光路に沿った音圧の線積分値に比例する。

【0003】

上述のような原理に基づいて、非特許文献１では並列位相シフト干渉法および高速度カメラを用いた瞬時２次元音場可視化手法が提案されている。音によって生じた光の位相変化を干渉光の強度変化として捉えることで、非接触な音の可視化を実現している。また、非特許文献２では、デジタルホログラフィの原理を用いることで音場の可視化を実現している。非特許文献３ではスペックルを利用したTVホログラフィ法によって同様な音の測定を実現している。

【先行技術文献】

【非特許文献】

【0004】

【文献】Kenji Ishikawa, Kohei Yatabe, Nachanant Chitanont, Yusuke Ikeda, Yasuhiro Oikawa, Takashi Onuma, Hayato Niwa, and Minoru Yoshii, "High-speed imaging of sound using parallel phase-shifting interferometry", Opt. Express 24, 12922-12932, 2016.

【文献】Osamu Matoba, Hiroki Inokuchi, Kouichi Nitta, and Yasuhiro Awatsuji, "Optical voice recorder by off-axis digital holography", Opt. Lett. 39, 6549-6552, 2014.

【文献】OJ. Lokberg, "Sound in flight: measurement of sound fields by use of TV holography", Appl Opt., 33(13), 2574-2584, 1994.

【発明の概要】

【発明が解決しようとする課題】

【0005】

このような従来の光による音場観測の課題のひとつが、観測範囲の拡大に伴うシステムの重量の増加である。一般的なレンズは口径が大きくなるほどレンズの厚みも増加するため、大口径では重量が著しく増加する。したがって、従来の音場観測のための光学系では、大口径にするほど重量が大幅に増加するという課題がある。特に数十cm以上の範囲を観測する大口径可視化システムの構築において、これらの課題が顕著である。

【0006】

本発明は、従来の音可視化システムよりもシステム全体の重量を抑えた音可視化システムを提供することを目的とする。

【課題を解決するための手段】

【0007】

上記の課題を解決するために、本発明の一態様によれば、音可視化システムは、レーザー光を放射するレーザーと、レーザー光の光路を２つに分離する第一ビームスプリッタと、微細構造と形状の不連続との少なくとも何れかを含むレンズを少なくとも一部に含み、第一ビームスプリッタを通過後の物体光のビーム径を拡大する拡大レンズシステムと、微細構造と形状の不連続との少なくとも何れかを含むレンズを少なくとも一部に含み、拡大レンズシステムを通過後の物体光のビーム径を縮小する縮小レンズシステムと、物体光と参照光とを結合する第二ビームスプリッタと、物体光と参照光とを結合して得られる干渉光から、演算によって、時系列の位相分布を得る位相分布計算部と、時系列の位相分布に含まれる音以外の成分を除去し、音情報を抽出するフィルタリング部とを含み、可視化対象の音は、拡大レンズシステムと縮小レンズシステムとの間に生成される。

【0008】

上記の課題を解決するために、本発明の他の態様によれば、音可視化システムは、レーザー光を放射するレーザーと、レーザー光の光路を２つに分離する第一ビームスプリッタと、微細構造と形状の不連続との少なくとも何れかを含むレンズを少なくとも一部に含み、第一ビームスプリッタを通過後の物体光のビーム径を拡大する拡大レンズシステムと、微細構造と形状の不連続との少なくとも何れかを含むレンズを少なくとも一部に含み、拡大レンズシステムを通過後の物体光のビーム径を縮小する縮小レンズシステムと、縮小レンズシステムを通過後の物体光をスペックルパターンに変換するディフーザーと、スペックルパターンと参照光とを結合する第二ビームスプリッタと、スペックルパターンと参照光とを結合して得られる干渉光から、演算によって、時系列の位相分布を得る位相分布計算部と、時系列の位相分布に含まれる音以外の成分を除去し、音情報を抽出するフィルタリング部とを含み、可視化対象の音は、拡大レンズシステムと縮小レンズシステムとの間に生成される。

【発明の効果】

【0009】

本発明によれば、従来よりも音可視化システム全体の重量を抑えることができるという効果を奏する。

【図面の簡単な説明】

【0010】

【図1】第一実施形態に係る音可視化システムの機能ブロック図。

【図2】第一実施形態に係る音可視化システムの処理フローの例を示す図。

【図3】干渉画像とホログラムの例を示す図。

【図4】音場を抽出する時空間フィルタによる効果を示す図。

【図5】フィルタなしの画像から計算した周波数スペクトルを示す図。

【図6】第二実施形態に係る音可視化システムの機能ブロック図。

【図7】第二実施形態に係る音可視化システムの処理フローの例を示す図。

【図8】第二実施形態の光学系によって生成されたスペックル画像および参照光を傾けたスペックル画像との差分の絶対値を示す図。

【図9】本手法を適用するコンピュータの構成例を示す図。

【発明を実施するための形態】

【0011】

以下、本発明の実施形態について、説明する。なお、以下の説明に用いる図面では、同じ機能を持つ構成部や同じ処理を行うステップには同一の符号を記し、重複説明を省略する。以下の説明において、ベクトルや行列の各要素単位で行われる処理は、特に断りが無い限り、そのベクトルやその行列の全ての要素に対して適用されるものとする。

【0012】

＜本発明のポイント＞
従来の音場観測のための光学系では、大口径にするほど重量が大幅に増加するという課題に加え、以下の課題が考えられる。従来の装置では、音の計測のために精密な干渉計あるいはデジタルホログラフィを用いている。そこでは光波の干渉によって生じる干渉縞を観測するために、滑らかな表面を有するレンズが用いられる。このときレンズの表面が滑らかであるほど、レンズによって生じるむらが少なくきれいな干渉縞が得られる。レンズの表面をより滑らかにするほど精密な研磨が必要となるため、精密なレンズほど製造コストが増加するという課題が考えられる。

【0013】

本発明は、音可視化システムに微細構造と形状の不連続との少なくとも何れかを含むレンズを用いる。微細構造と形状の不連続との少なくとも何れかを含むレンズとしては、フレネルレンズ、回折レンズ、メタレンズなどを用いることができる。このようなレンズを用いることで、軽量・薄型・小型な音可視化システムを構築することができる。特に、フレネルレンズを用いることで、製造コストを抑えることができるため、以降ではフレネルレンズを用いた例について説明する。フレネルレンズは通常の光学レンズの曲面を同心円状に分割し溝に置き換えたものであり、薄型・軽量でありながら光線を屈折させるレンズとしての機能を有する。大型化も容易であり低コストで製造可能であることから、主に集光用途や低品質の拡大鏡用途で利用されている。一方結像レンズとしての性能は低いため、高品質が要求されるイメージングや干渉計などの用途にはほとんど使用されていない。これは、フレネルレンズは構造上同心円状の不連続な形状を有するため、形状に起因する同心円状の線の発生、光の回折による結像性能の低下および波面の乱れが生じることなどが原因である。

【0014】

本発明は、フレネルレンズを光学系の一部として使用することにより、従来技術よりも低コストかつ軽量に大口径の光による音可視化システムを実現するものである。本発明では、測定対象である音場の物理的な特徴を利用し、フレネルレンズの使用によって生じる不都合を解消する。例えば、フレネルレンズによって発生する歪みパターンは時間的に変動しない量であるのに対して、音場は時空間的に変動する量であるので、信号処理によって変動する成分のみを抽出することによって低品質の干渉画像からでも音場情報を効率的に抽出することが可能となる。

【0015】

つまり、本発明のポイントは、音が時空間的に変動する成分であるという物理的な性質に着目して、通常は干渉計に不向きな低品質のフレネルレンズを用いた光学系で音場情報を観測可能とする点にある。単一の画像としては歪みやノイズが大きく測定対象が鮮明に観測されていない状態であっても、時系列画像に対して音の性質を考慮したフィルタリングを施すことにより音場を可視化することができる。フレネルレンズは、特に大口径の場合、一般的に干渉計に用いられるレンズに比べて遥かに軽量・薄型・安価であるため、従来よりも低コスト・軽量・薄型・小型な音可視化システムを構築することができる。

【0016】

第一実施形態では、デジタルホログラフィによる方法(非特許文献２参照)を示す。

【0017】

＜第一実施形態＞
図１は第一実施形態に係る音可視化システムの機能ブロック図を、図２はその処理フローの例を示す。

【0018】

音可視化システムは、レーザー１１０と、ビームスプリッタ１２０と、ミラー１３１，１３２と、レンズ１４１とフレネルレンズ１４３とを含む拡大レンズシステム１４０と、フレネルレンズ１５３とレンズ１５１とを含む縮小レンズシステム１５０と、ビームスプリッタ１６０と、カメラ１７０と、位相分布計算部１８０と、フィルタリング部１９０と、表示部１９５とを含む。

【0019】

なお、位相分布計算部１８０と、フィルタリング部１９０とを含む装置を音可視化装置ともいう。

【0020】

音可視化装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。音可視化装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。音可視化装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。音可視化装置の各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。音可視化装置が備える各記憶部は、例えば、RAM（Random Access Memory）などの主記憶装置、またはリレーショナルデータベースやキーバリューストアなどのミドルウェアにより構成することができる。ただし、各記憶部は、必ずしも音可視化装置がその内部に備える必要はなく、ハードディスクや光ディスクもしくはフラッシュメモリ（Flash Memory）のような半導体メモリ素子により構成される補助記憶装置により構成し、音可視化装置の外部に備える構成としてもよい。

【0021】

以下、各部について説明する。

【0022】

＜光学系＞
レーザー１１０は、レーザー光を放射する（Ｓ１１０）。

【0023】

ビームスプリッタ１２０は、レーザー光の光路を２つに分離する（Ｓ１２０）。一方のレーザー光を物体光とし、物体光路が音場を透過するように、他方のレーザー光を参照光とし、参照光路が音場を透過しないように、レーザー１１０と、ビームスプリッタ１２０と、ミラー１３１，１３２と、レンズ１４１とフレネルレンズ１４３と、フレネルレンズ１５３とレンズ１５１と、ビームスプリッタ１６０と、カメラ１７０とが配置される。

【0024】

物体光は、ビームスプリッタ１２０を通過後、拡大レンズシステム１４０によってビーム径が拡大される（Ｓ１４０）。

【0025】

音場を透過した拡大された光は、縮小レンズシステム１５０によってビーム径が縮小される（Ｓ１５０）。

【0026】

ビームスプリッタ１６０は、物体光と参照光とを結合する（Ｓ１６０）。

【0027】

カメラ１７０のイメージセンサは、ビームスプリッタ１６０によって結合された光を干渉画像として記録する（Ｓ１７０）。干渉画像は、カメラ１７０内のメモリに記録してもよいし、カメラ１７０と接続された音可視化装置の内部に設けられたメモリに記録してもよい。イメージセンサの前には結像レンズ系があってもよい。測定対象となる音場は、拡大レンズシステム１４０と縮小レンズシステム１５０の間に生成され、拡大された光は、音場を通過する。拡大レンズシステム１４０および縮小レンズシステム１５０に使用されるレンズの一部あるいは全部をフレネルレンズとする。図１の例では、拡大レンズシステム１４０、縮小レンズシステム１５０はそれぞれフレネルレンズ１４３，１５３を使用する。

【0028】

高次の回折光および不要な周波数成分を除去するために、縮小レンズシステム１５０のフーリエ変換面に絞りを設置しても良い。本実施形態ではマッハツェンダ干渉計を例示しているが、マイケルソン干渉計、フィゾー干渉計などどのような干渉計を用いても良い。

【0029】

＜位相分布計算部１８０＞
次に、位相分布計算部１８０は、メモリから干渉画像を取り出し、演算によって、可視化対象の音の時系列の位相分布を得る（Ｓ１８０）。例えば、位相分布計算部１８０は、干渉画像から音によって変調された物体光のホログラムあるいは位相分布を計算し、無音時の物体光の位相分布の画像と、音再生時の物体光の位相分布の時系列画像との差分である時系列の位相差分画像を得る。この時系列の位相差分画像が、前述の可視化対象の音の時系列の位相分布に相当する。

【0030】

ある形態では、ビームスプリッタ１６０により結合される物体光および参照光の光軸を僅かにずらしたオフアクシス（非共軸）で重ね合わせる。位相分布計算部１８０は、干渉画像に記録された干渉縞から物体光のホログラムあるいは位相分布を計算する。

【0031】

別の形態では、干渉光に含まれる物体光と参照光の相対的な位相差をずらした複数枚の干渉画像を記録する。位相分布計算部１８０は、位相シフトアルゴリズムを用いて物体光のホログラムあるいは位相分布を計算する。物体光のホログラムを数値計算により逆伝播し、物体光路上の特定の面の物体光情報を計算し、その面での位相分布を画像として出力する。あるいは撮像面での位相分布を画像として出力する。

【0032】

イメージセンサは複数の干渉画像を記録し、位相分布計算部１８０は同様の手続きによって物体光の位相分布の時系列画像を得る。

【0033】

＜フィルタリング部１９０＞
フィルタリング部１９０は、位相分布計算部１８０で得られた時系列の位相差分画像から音情報を抽出するためのフィルタリングを行う（Ｓ１９０）。フィルタリングは位相分布に含まれる音以外の成分を除去する目的で行われる。フィルタの性質は測定対象である音の性質に基づいて決定する。なお、位相分布に含まれる音以外の成分とは、微細構造と形状の不連続との少なくとも何れかを含むレンズに起因するノイズを含む。

【0034】

ある形態では、フィルタには画像の各ピクセルの時系列データを時間信号とみなして各ピクセルに対して独立したフィルタをかける。このとき、解析する音場の周波数帯域をあらかじめ規定し、その帯域の成分を通過させるバンドパスフィルタを用いることができる。また、低域あるいは高域の成分のみを通過させるローパスフィルタあるいはハイパスフィルタを用いることができる。

【0035】

別の形態では、各画像に対して、空間周波数フィルタを用いることができる。同様に音の空間周波数を規定し、それに応じたフィルタを用いる。

【0036】

また別の形態では、３次元の時空間フィルタをかける方法がある。このとき、単一の時空間フィルタを用いることもできるし、時間フィルタと空間周波数フィルタの双方を独立して用いることもできる。

【0037】

ここで、測定する音場に周波数がイメージセンサのフレームレートの1/2以上の成分を含む場合、音の周波数はナイキスト周波数を超える。イメージセンサにはアンチエイリアスフィルタは搭載されていないので、ナイキスト周波数を超えた成分はナイキスト周波数を対称に折り返した周波数成分として記録される。したがってこのような場合は、折り返した周波数を対象として上述のフィルタリングを行う。

【0038】

フィルタリング部１９０は、フィルタリングした位相分布の時系列画像を、時空間の音可視化データとして出力し、表示部１９５で表示する（Ｓ１９５）。表示部１９５は、例えば、ディスプレイやタッチパネル等からなる。

【0039】

＜測定例＞
次に第一実施形態の光学系による実際の測定例の結果を示す。超音波トランスデューサにより放射される40kHz正弦波音場を測定対象とした。撮影画像のサイズは240 × 240ピクセルであり、フレームレート100,000fpsの高速度カメラで100枚の画像を撮影した。図３に撮影した干渉画像ｓｐ１，ａｐ１と、その画像に対してオフアクシスフレネル回折による逆伝播計算を施したホログラムｓｐ２，ａｐ２，ｓｐ３，ａｐ３を示す。干渉画像ｓｐ１，ａｐ１はカメラ１７０のイメージセンサが記録する干渉画像であり、位相差分画像ｐ４は位相分布計算部１８０の出力値である。上段は無音時の干渉画像ｓｐ１，ホログラムｓｐ２，ｓｐ３、下段は音再生時のあるフレームの干渉画像ａｐ１，ホログラムａｐ２，ａｐ３である。最右の位相差分画像ｐ４は音再生時と無音時のホログラムの位相ｓｐ３，ａｐ３の差分を示している。干渉画像ｓｐ１，ａｐ１においてフレネルレンズによる光量のむらが明確に観測されている。また、高周波の干渉縞も撮影されている。計算したホログラムｓｐ２，ａｐ２，ｓｐ３，ａｐ３においてもフレネルレンズに起因するむらが支配的であり、位相分布は複雑なパターンを有している。位相差分画像ｐ４では位相の不連続に起因する線状のパターンが現れている。ここでは音場を確認することはできないが、これは音場の振幅が約0.01radと小さく、ノイズパターンの方が顕著に大きいためである。この図３から、フレネルレンズを含む光学系を用いてもホログラムは取得可能であるが、その位相分布にはノイズがそのままでは大きく音の可視化は達成できていないことが分かる。

【0040】

図４に音場を抽出する時空間フィルタによる効果を示す。上段はフィルタを適用しない位相差分画像そのもの（位相分布計算部１８０の出力値の例）ｎｆ０，ｎｆ１０，ｎｆ２０、中段は各ピクセルに中心周波数40kHz、帯域幅1kHzの6次IIRバンドパスフィルタをかけた結果(フィルタリング部１９０の出力値の例(時間領域フィルタ))ｔｆ０，ｔｆ１０，ｔｆ２０、下段は中段の結果に対して標準偏差16ピクセルの2次元ガウス平滑化フィルタをかけた結果(フィルタリング部１９０の出力値の例(時間領域フィルタ+空間フィルタ))ｓｆ０，ｓｆ１０，ｓｆ２０を示す。なお図中の破線は音波面の位置を示すための補助線である。フィルタなしの結果ｎｆ０，ｎｆ１０，ｎｆ２０では音波面を認識することは難しい。一方、時間領域フィルタをかけた結果ｔｆ０，ｔｆ１０，ｔｆ２０では、3つのフレーム間で画像中右から左に向かって進行する波面が確認できるが、音波面に空間的に微細なフレネルレンズによるノイズパターンが重畳されている。空間フィルタをかけた結果ｓｆ０，ｓｆ１０，ｓｆ２０では、音波面は保存されたまま微細なノイズパターンが除去されている事が確認できる。この波面が音波であることを確認するため、上段のフィルタなしの画像ｎｆ０，ｎｆ１０，ｎｆ２０の中心部100ピクセルから計算した周波数スペクトルを図５に示す。音の周波数と一致する40kHzに明確なピークが現れており、可視化結果が音であることが確認された。

【0041】

＜効果＞
以上の構成により、従来よりも音可視化システム全体の重量を抑えることができる。

【0042】

フレネルレンズを用いることで、これまでコストやシステムの重量の観点からあまり実用的でなかった大口径の音可視化システムの構築が可能となる。例えば室内全体の音伝搬の様子を観測するためには、数十cm～数mの範囲を可視化することが望まれる。そのような大口径の干渉計を従来の光学系で実現しようとする場合、そのコストは非常に高くまたレンズも非常に重くなるため、実際に構築するのは非常に困難であった。それに対して本発明による方法を用いれば、安価かつ軽量なレンズで大口径の低コスト・軽量・薄型・小型な音可視化システムを構築することができる。そのような音可視化システムは、大型の楽器や電気音響機器、自動車や機械から放射される騒音など、多様な音場の可視化を実現し、音響現象の解明や音製品の品質向上・プロモーション等に有効である。
＜その他の変形例＞
本実施形態では、位相分布計算部１８０において、干渉画像から時系列の位相分布を得ているが、必ずしも干渉画像である必要はなく、干渉光から時系列の位相分布を得てもよい。本実施形態のように干渉光から干渉画像を得、干渉画像から時系列の位相分布を得てもよいし、干渉画像に限らず他の「干渉光から得られる情報」から時系列の位相分布を得てもよい。例えば、干渉光からチャネルごとの時間波形の集合を得、時間波形の集合から時系列の位相分布を得てもよい。

【0043】

＜第二実施形態＞
第一実施形態と異なる部分を中心に説明する。

【0044】

第二実施形態では、オフアクシススペックル干渉計による方法(非特許文献３参照)を示す。

【0045】

図６は第二実施形態に係る音可視化システムの機能ブロック図を、図７はその処理フローの例を示す。

【0046】

音可視化システムは、レーザー１１０と、ビームスプリッタ１２０と、ミラー１３１，１３２と、レンズ１４１とフレネルレンズ１４３とを含む拡大レンズシステム１４０と、フレネルレンズ１５３とレンズ１５１とを含む縮小レンズシステム１５０と、ディフューザー２５５と、絞り２５６と、レンズ２５７と、ビームスプリッタ１６０と、カメラ１７０と、位相分布計算部２８０と、フィルタリング部２９０と、表示部１９５とを含む。

【0047】

なお、位相分布計算部２８０と、フィルタリング部２９０とを含む装置を音可視化装置ともいう。

【0048】

＜ディフューザー２５５と、絞り２５６と、レンズ２５７＞
本実施形態では、縮小レンズシステム１５０の後方にディフューザー２５５を設置する。ディフューザー２５５は、物体光をスペックルパターンに変換する（Ｓ２５５）。

【0049】

ディフューザー２５５面上のスペックルパターンをレンズ２５７でカメラ１７０のイメージセンサ上に結像させる。本実施形態では、絞り２５６で光の量を調整する。第一実施形態と同様にビームスプリッタ１６０で参照光と物体光のスペックルパターンを結合し、干渉画像をカメラ１７０で記録する。図６の構成の他に、参照光側にもディフューザー・絞り・レンズを設置し、物体光スペックルパターンと参照光スペックルパターンの干渉画像を撮影してもよい。

【0050】

本実施形態では、オフアクシススペックル干渉法によって干渉縞を撮像する。まず、音のない状態で物体光と参照光による干渉画像を記録する。次に、参照光の入射角を僅かに傾け、測定領域に測定対象となる音場を生成し、干渉画像を測定する。

【0051】

＜位相分布計算部２８０＞
位相分布計算部２８０は、メモリから干渉画像を取り出し、干渉画像から、演算によって、時系列の位相分布を得る（Ｓ２８０）。例えば、位相分布計算部２８０は、音場再生時に測定した画像と初期状態の画像との差分を計算することで、オフアクシススペックル干渉画像を得る。このオフアクシススペックル干渉画像には、音場再生時の光波と初期状態の光波の位相差が干渉縞として含まれている。すなわち、参照光の角度変化に応じた空間周波数の干渉縞と音による光の位相変動成分が重畳された干渉画像が得られる。ここでこの干渉画像からフーリエ縞解析法などを用いて物体光の位相分布を計算する。この処理を各フレームに対して行うことによって、物体光の位相分布の時系列画像を得る。

【0052】

＜フィルタリング部２９０＞
この時系列画像には、音による位相変動の他に、スペックルによる雑音成分も含んでいるので、フィルタリング部２９０は、第一実施形態と同様のフィルタリング（Ｓ２９０）を行うことによって、スペックルによる雑音成分とともに、位相分布に含まれる音以外の成分を除去し、時空間の音可視化データを得る。

【0053】

本実施形態では、フレネルレンズによって光波面が乱れたとしても、ディフューザーがランダムなスペックルを生成するので、イメージセンサ全体に渡って性質が均一なスペックルが生成される。したがって、参照光を傾けることによって高いコントラストの干渉縞を生成することができる。第二実施形態の光学系によって生成されたスペックル画像および参照光を傾けたスペックル画像との差分の絶対値を図８に示す。図８の左の画像Ａは初期スペックルパターンを、中央の画像Ｂは参照光を傾けたスペックルパターンを、右の画像Ｃは初期スペックルパターンと参照光を傾けたスペックルパターンとの差分の絶対値を示す。

【0054】

参照光の入射角を傾けることで、フレネルレンズを用いたとしてもスペックル干渉縞が観測可能であることが分かる。このようなスペックル干渉計では、音の変動とランダムなスペックルパターンが重畳されて測定されるが、音と雑音成分の違いを利用して、フィルタリングによって効率的にスペックルパターンの除去が可能である。特にスペックルパターンの大きさが音波長に比べて十分に小さい場合は、ローパスフィルタによってスペックル成分を除去できる。

【0055】

＜効果＞
このような構成とすることで、第一実施形態と同様の効果を得ることができる。

【0056】

＜その他の変形例＞
本発明は上記の実施形態及び変形例に限定されるものではない。例えば、上述の各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。その他、本発明の趣旨を逸脱しない範囲で適宜変更が可能である。

【0057】

＜プログラム及び記録媒体＞
上述の音可視化装置の処理は、図９に示すコンピュータの記憶部２０２０に、上記方法の各ステップを実行させるプログラムを読み込ませ、制御部２０１０、入力部２０３０、出力部２０４０などに動作させることで実施できる。

【0058】

この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、例えば、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等どのようなものでもよい。

【0059】

また、このプログラムの流通は、例えば、そのプログラムを記録したＤＶＤ、ＣＤ－ＲＯＭ等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。

【0060】

このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の記憶装置に格納する。そして、処理の実行時、このコンピュータは、自己の記録媒体に格納されたプログラムを読み取り、読み取ったプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるＡＳＰ（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。

【0061】

また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】