IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 三星電子株式会社の特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-12-25
(45)【発行日】2024-01-09
(54)【発明の名称】音源分離装置及び音源分離方法
(51)【国際特許分類】
   G10L 21/0272 20130101AFI20231226BHJP
   G10L 25/51 20130101ALI20231226BHJP
【FI】
G10L21/0272 100A
G10L25/51 400
【請求項の数】 38
(21)【出願番号】P 2019209838
(22)【出願日】2019-11-20
(65)【公開番号】P2020092420
(43)【公開日】2020-06-11
【審査請求日】2022-10-21
(31)【優先権主張番号】10-2018-0153726
(32)【優先日】2018-12-03
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Samsung Electronics Co.,Ltd.
【住所又は居所原語表記】129,Samsung-ro,Yeongtong-gu,Suwon-si,Gyeonggi-do,Republic of Korea
(74)【代理人】
【識別番号】110000671
【氏名又は名称】IBC一番町弁理士法人
(72)【発明者】
【氏名】姜 誠 贊
(72)【発明者】
【氏名】金 載 興
(72)【発明者】
【氏名】尹 容 燮
(72)【発明者】
【氏名】李 忠 鎬
(72)【発明者】
【氏名】洪 赫 基
【審査官】中村 天真
(56)【参考文献】
【文献】特開2019-103144(JP,A)
【文献】特開2019-045481(JP,A)
【文献】特開2018-023103(JP,A)
【文献】欧州特許出願公開第2986024(EP,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04R 1/00- 3/14
G10L 13/00-25/93
(57)【特許請求の範囲】
【請求項1】
音が入力される音引入口と、
前記音引入口を介して入力された音が排出される音排出口と、
前記音引入口と前記音排出口との間の平面において、前記音引入口の中心と鉛直に対向する前記平面上の中心点を取り囲む形態に配列されたものであり、前記音引入口に入力される音の方向により、選択的に1以上が反応するように構成された複数の方向性振動体と、
前記複数の方向性振動体の出力信号の強度を基に、互いに異なる第1音源と第2音源との方向を決定し、前記第1音源からの音と、第2音源からの音とをそれぞれ分離して獲得するために、前記複数の方向性振動体のうち、互いに異なる第1方向性振動体と第2方向性振動体とを選択するように構成された制御回路と、を含む音源分離装置。
【請求項2】
前記制御回路は、第1方向性振動体の第1出力信号を基に、前記第1音源からの音情報を獲得し、前記第2方向性振動体の第2出力信号を基に、前記第2音源からの音情報を獲得するように構成されたことを特徴とする請求項1に記載の音源分離装置。
【請求項3】
前記制御回路は、前記複数の方向性振動体のうち、前記第1音源の方向に対して、最も敏感度が高い方向性振動体を、第1方向性振動体として選択し、前記複数の方向性振動体のうち、前記第2音源の方向に対して、最も敏感度が高い方向性振動体を、第2方向性振動体として選択することを特徴とする請求項2に記載の音源分離装置。
【請求項4】
前記制御回路は、前記複数の方向性振動体のうち、前記第1音源の方向に向けて配置された方向性振動体を、第1方向性振動体として選択し、前記複数の方向性振動体のうち、前記第2音源の方向に向けて配置された方向性振動体を、第2方向性振動体として選択することを特徴とする請求項2に記載の音源分離装置。
【請求項5】
前記制御回路は、前記第1方向性振動体の前記第1出力信号に、前記第2音源の音が寄与した比率、及び前記第2方向性振動体の前記第2出力信号に、前記第1音源の音が寄与した比率を基に、前記第1出力信号と前記第2出力信号とを演算し、前記第1音源の音と、前記第2音源の音との情報を獲得するように構成されたことを特徴とする請求項4に記載の音源分離装置。
【請求項6】
前記第1方向性振動体の前記第1出力信号をC1、前記第2方向性振動体の前記第2出力信号をC2、前記第1音源の音信号をS1、前記第2音源の音信号をS2、前記第1出力信号に、前記第2音源の音が寄与した比率をα、前記第2出力信号に、前記第1音源の音が寄与した比率をβとするとき、
C1=S1+αS2
C2=S2+βS1であり、
S1=(C1-αC2)/(1-αβ)
S2=(C2-βC1)/(1-αβ)であることを特徴とする請求項5に記載の音源分離装置。
【請求項7】
前記第1方向性振動体の前記第1出力信号に、前記第2音源の音が寄与した比率は、前記第1方向性振動体と前記第2音源との角度によって決定され、前記第2方向性振動体の前記第2出力信号に、前記第1音源の音が寄与した比率は、前記第2方向性振動体と前記第1音源との角度によって決定されることを特徴とする請求項5に記載の音源分離装置。
【請求項8】
それぞれの方向性振動体に入射する音の方向によるそれぞれの方向性振動体の敏感度を保存したメモリをさらに含むことを特徴とする請求項7に記載の音源分離装置。
【請求項9】
前記制御回路は、前記第1音源の方向を中心に、第1角度範囲内に配列された複数の方向性振動体のうち、前記第2音源の方向に対して、最も敏感度が低い方向性振動体を、第1方向性振動体として選択し、前記第2音源の方向を中心に、第2角度範囲内に配列された複数の方向性振動体のうち、前記第1音源の方向に対して、最も敏感度が低い方向性振動体を、第2方向性振動体として選択するように構成されたことを特徴とする請求項2に記載の音源分離装置。
【請求項10】
前記制御回路は、前記第1音源からの音が小さくなる時間の間、前記第2音源の方向を決定し、前記第2音源からの音が小さくなる時間の間、前記第1音源の方向を決定するように構成されたことを特徴とする請求項1に記載の音源分離装置。
【請求項11】
前記制御回路は、180°の角度範囲内に配列された複数の方向性振動体の出力信号の強度が、2個の以上のピークを有する場合、2個以上の音源が存在すると判断し、180°の角度範囲内に配列された複数の方向性振動体の出力信号の強度が1つのピークを有する時間の間、1つの音源の方向を決定するように構成されたことを特徴とする請求項10に記載の音源分離装置。
【請求項12】
前記制御回路は、前記複数の方向性振動体のうち、出力信号の強度が最大である方向性振動体の配置方向を、第1音源または第2音源の方向と決定するように構成されたことを特徴とする請求項1に記載の音源分離装置。
【請求項13】
前記制御回路は、前記複数の方向性振動体のうち、出力信号の強度が最小である方向性振動体の配置方向に垂直の方向を、第1音源または第2音源の方向と決定するように構成されたことを特徴とする請求項1に記載の音源分離装置。
【請求項14】
前記制御回路は、出力信号の強度が最小である方向性振動体に対し、+90゜に配置された方向性振動体の振動強度と、出力信号の強度が最小である方向性振動体に対し、-90゜に配置された方向性振動体の出力信号の強度とを比較し、出力信号の強度がさらに強い方向性振動体の配置方向を、第1音源または第2音源の方向と決定するように構成されたことを特徴とする請求項13に記載の音源分離装置。
【請求項15】
音が入力される方向と関係なく反応する無方向性振動体をさらに含むことを特徴とする請求項13に記載の音源分離装置。
【請求項16】
前記制御回路は、出力信号の強度が最小である方向性振動体に対し、+90゜に配置された方向性振動体の位相と、振動強度が最小である方向性振動体に対し、-90゜に配置された方向性振動体の位相と、を前記無方向性振動体の位相と比較し、前記無方向性振動体の位相と最も近い位相を有する方向性振動体の配置方向を、第1音源または第2音源の方向と決定するように構成されたことを特徴とする請求項15に記載の音源分離装置。
【請求項17】
前記複数の方向性振動体と前記無方向性振動体は、同一平面上に配列され、前記複数の方向性振動体は、前記無方向性振動体を取り囲む形態に配列されることを特徴とする請求項15に記載の音源分離装置。
【請求項18】
前記複数の方向性振動体は、前記中心点に対して、所定の対称性を有するように配列されることを特徴とする請求項1に記載の音源分離装置。
【請求項19】
前記音排出口は、前記複数の方向性振動体全体に対向するように形成されたことを特徴とする請求項1に記載の音源分離装置。
【請求項20】
前記音排出口は、前記複数の方向性振動体それぞれと対向する複数個に具備されることを特徴とする請求項1に記載の音源分離装置。
【請求項21】
前記複数の方向性振動体は、同一共振周波数を有することを特徴とする請求項1に記載の音源分離装置。
【請求項22】
前記複数の方向性振動体は、互いに異なる共振周波数を有する複数の方向性振動体を含むことを特徴とする請求項1に記載の音源分離装置。
【請求項23】
音引入口を介して音を受信し、音排出口を介して音を排出する段階と、
前記音引入口と前記音排出口との間の平面において、前記音引入口の中心と鉛直に対向する前記平面上の中心点を取り囲む形態に配列されたものであり、前記音引入口に入力される音の方向により、選択的に1以上が反応するように構成された複数の方向性振動体の出力信号の強度を基に、互いに異なる第1音源と第2音源との方向を決定する段階と、
前記第1音源からの音と、前記第2音源からの音とをそれぞれ分離して獲得するために、前記複数の方向性振動体のうち、互いに異なる第1方向性振動体と第2方向性振動体とを選択する段階と、
前記第1方向性振動体と第2方向性振動体とを利用して音情報を獲得する段階と、を含む音源分離方法。
【請求項24】
前記第1音源と前記第2音源との方向を決定する段階は、
前記第1音源からの音が小さくなる時間の間、前記第2音源の方向を決定する段階と、
前記第2音源からの音が小さくなる時間の間、前記第1音源の方向を決定する段階と、を含むことを特徴とする請求項23に記載の音源分離方法。
【請求項25】
前記第1音源と前記第2音源との方向を決定する段階は、
180°の角度範囲内に配列された複数の方向性振動体の出力信号の強度が、2個の以上のピークを有する場合、2個以上の音源が存在すると判断する段階と、
前記180°の角度範囲内に配列された複数の方向性振動体の出力信号の強度が1つのピークを有する時間の間、1つの音源の方向を決定する段階と、をさらに含むことを特徴とする請求項24に記載の音源分離方法。
【請求項26】
前記第1音源と前記第2音源との方向を決定する段階は、前記複数の方向性振動体のうち、出力信号の強度が最大である方向性振動体の配置方向を、前記第1音源または前記第2音源の方向と決定する段階を含むことを特徴とする請求項23に記載の音源分離方法。
【請求項27】
前記第1音源と前記第2音源との方向を決定する段階は、前記複数の方向性振動体のうち、出力信号の強度が最小である方向性振動体の配置方向に垂直の方向を、前記第1音源または前記第2音源の方向と決定する段階を含むことを特徴とする請求項23に記載の音源分離方法。
【請求項28】
前記第1音源と前記第2音源との方向を決定する段階は、
出力信号の強度が最小である方向性振動体に対し、+90゜に配置された方向性振動体の振動強度と、出力信号の強度が最小である方向性振動体に対し、-90゜に配置された方向性振動体の出力信号の強度とを比較する段階と、
出力信号の強度がさらに強い方向性振動体の配置方向を、前記第1音源または前記第2音源の方向と決定する段階と、を含むことを特徴とする請求項27に記載の音源分離方法。
【請求項29】
音が入力される方向と関係なく反応する無方向性振動体を利用し、音を受信する段階をさらに含むことを特徴とする請求項27に記載の音源分離方法。
【請求項30】
前記第1音源と前記第2音源との方向を決定する段階は、
出力信号の強度が最小である方向性振動体に対し、+90゜に配置された方向性振動体の位相と、振動強度が最小である方向性振動体に対し、-90゜に配置された方向性振動体の位相と、を前記無方向性振動体の位相と比較する段階と、
前記無方向性振動体の位相と最も近い位相を有する方向性振動体の配置方向を、前記第1音源または前記第2音源の方向と決定する段階と、をさらに含むことを特徴とする請求項29に記載の音源分離方法。
【請求項31】
前記第1方向性振動体と前記第2方向性振動体とを利用して音情報を獲得する段階は、前記第1方向性振動体の第1出力信号を基に、前記第1音源からの音情報を獲得し、前記第2方向性振動体の第2出力信号を基に、前記第2音源からの音情報を獲得する段階を含むことを特徴とする請求項23に記載の音源分離方法。
【請求項32】
前記第1方向性振動体と前記第2方向性振動体とを選択する段階は、
前記複数の方向性振動体のうち、前記第1音源の方向に対して、最も敏感度が高い方向性振動体を、前記第1方向性振動体として選択する段階と、
前記複数の方向性振動体のうち、前記第2音源の方向に対して、最も敏感度が高い方向性振動体を、前記第2方向性振動体として選択する段階と、を含むことを特徴とする請求項31に記載の音源分離方法。
【請求項33】
前記第1方向性振動体と前記第2方向性振動体とを選択する段階は、
前記複数の方向性振動体のうち、前記第1音源の方向に向けて配置された方向性振動体を前記第1方向性振動体として選択する段階と、
前記複数の方向性振動体のうち、前記第2音源の方向に向けて配置された方向性振動体を、前記第2方向性振動体として選択する段階と、を含むことを特徴とする請求項31に記載の音源分離方法。
【請求項34】
前記第1方向性振動体と前記第2方向性振動体とを利用して音情報を獲得する段階は、
前記第1方向性振動体の前記第1出力信号に、前記第2音源の音が寄与した比率、及び前記第2方向性振動体の前記第2出力信号に、前記第1音源の音が寄与した比率を決定する段階と、
前記第1出力信号と前記第2出力信号とを演算し、前記第1音源の音と、前記第2音源の音との情報を獲得する段階と、を含むことを特徴とする請求項33に記載の音源分離方法。
【請求項35】
前記第1方向性振動体の前記第1出力信号をC1、前記第2方向性振動体の前記第2出力信号をC2、前記第1音源の音信号をS1、前記第2音源の音信号をS2、前記第1出力信号に、前記第2音源の音が寄与した比率をα、前記第2出力信号に、前記第1音源の音が寄与した比率をβとするとき、
C1=S1+αS2
C2=S2+βS1であり、
S1=(C1-αC2)/(1-αβ)
S2=(C2-βC1)/(1-αβ)であることを特徴とする請求項34に記載の音源分離方法。
【請求項36】
前記第1方向性振動体の前記第1出力信号に、前記第2音源の音が寄与した比率は、前記第1方向性振動体と前記第2音源との角度によって決定され、前記第2方向性振動体の前記第2出力信号に、前記第1音源の音が寄与した比率は、前記第2方向性振動体と前記第1音源との角度によって決定されることを特徴とする請求項34に記載の音源分離方法。
【請求項37】
前記第1方向性振動体と前記第2方向性振動体とを選択する段階は、
前記第1音源の方向を中心に、第1角度範囲内に配列された複数の方向性振動体のうち、前記第2音源の方向に対して、最も敏感度が低い方向性振動体を前記第1方向性振動体として選択する段階と、
前記第2音源の方向を中心に、第2角度範囲内に配列された複数の方向性振動体のうち、前記第1音源の方向に対して、最も敏感度が低い方向性振動体を、前記第2方向性振動体として選択する段階と、を含むことを特徴とする請求項23に記載の音源分離方法。
【請求項38】
1以上の命令を保存するメモリと、
前記1以上の命令を遂行するプロセッサと、を含み、
前記プロセッサは、
音引入口と音排出口との間の平面において、前記音引入口の中心と鉛直に対向する前記平面上の中心点を取り囲む形態に配列されたものであり、前記音引入口に入力される音の方向により、選択的に1以上が反応するように構成された複数の方向性振動体の出力信号の強度を基に、互いに異なる第1音源と第2音源との方向を決定し、
前記第1音源からの音と、第2音源からの音とをそれぞれ分離して獲得するために、前記複数の方向性振動体のうち、互いに異なる第1方向性振動体と第2方向性振動体とを選択し、
前記第1方向性振動体と前記第2方向性振動体とを利用して音情報を獲得するように構成された音源分離装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、音源分離装置及び音源分離方法に係り、さらに詳細には、複数の方向性振動体を利用し、2個の音源からの音を分離することができる音源分離装置及び音源分離方法に関する。
【背景技術】
【0002】
生活家電製品、映像ディスプレイ装置、仮想現実装置、拡張現実装置、人工知能スピーカなどに装着され、音が来る方向を探知し、音声を認識することができる音響センサの活用性が増大している。特に、互いに異なる2個の方向に位置した音源からの音をそれぞれ分離して識別する音響センサの有用性が増大している。
【0003】
公知された音源分離方法には、例えば、ICA(independent component analysis)、GSS(geometric source separation)などがある。ICA方式またはGSS方式は、多数のマイクロホンに入力された信号を、時間・周波数領域変換を介して分析し、位置を推定した後、音源の特性を抽出して分離するのである。また、最近では、深層神経網技術を利用し、多数の音源を学習した後、学習された結果を基に、音源を分離する方法も開発されている。
【先行技術文献】
【特許文献】
【0004】
【文献】米国特許第5625697号明細書
【文献】韓国公開特許第2017-0050908号公報
【文献】米国特許第7716044号明細書
【文献】特許第3720795号明細書
【発明の概要】
【発明が解決しようとする課題】
【0005】
本発明は、音源分離装置及び音源分離方法を提供する。
【課題を解決するための手段】
【0006】
一実施形態による音源分離装置は、音が入力される音引入口と、前記音引入口を介して入力された音が出力される音排出口と、前記音引入口と前記音排出口との間の平面において、前記音引入口の中心と鉛直に対向する前記平面上の中心点を取り囲む形態に配列されたものであり、前記音引入口に入力される音の方向により、選択的に1以上が反応するように構成された複数の方向性振動体と、前記複数の方向性振動体の出力信号の強度を基に、互いに異なる第1音源と第2音源との方向を決定し、前記第1音源からの音と、第2音源からの音とをそれぞれ分離して獲得するために、前記複数の方向性振動体のうち、互いに異なる第1方向性振動体と第2方向性振動体とを選択するように構成された制御回路と、を含んでもよい。
【0007】
前記制御回路は、第1方向性振動体の第1出力信号を基に、前記第1音源からの音情報を獲得し、前記第2方向性振動体の第2出力信号を基に、前記第2音源からの音情報を獲得するようにも構成される。
【0008】
前記制御回路は、前記複数の方向性振動体のうち、前記第1音源の方向に対して最も敏感度が高い方向性振動体を、第1方向性振動体として選択し、前記複数の方向性振動体のうち、前記第2音源の方向に対して最も敏感度が高い方向性振動体を、第2方向性振動体として選択するようにも構成される。
【0009】
前記制御回路は、前記複数の方向性振動体のうち、前記第1音源の方向に向けて配置された方向性振動体を、第1方向性振動体として選択し、前記複数の方向性振動体のうち、前記第2音源の方向に向けて配置された方向性振動体を、第2方向性振動体として選択するようにも構成される。
【0010】
前記制御回路は、前記第1方向性振動体の第1出力信号に、前記第2音源の音が寄与した比率、及び前記第2方向性振動体の第2出力信号に、前記第1音源の音が寄与した比率を基に、第1出力信号と第2出力信号とを演算し、前記第1音源の音と、前記第2音源の音との情報を獲得するようにも構成される。
【0011】
例えば、前記第1方向性振動体の第1出力信号をC1、前記第2方向性振動体の第2出力信号をC2、前記第1音源の音信号をS1、前記第2音源の音信号をS2、前記第1出力信号に、前記第2音源の音が寄与した比率をα、前記第2出力信号に、前記第1音源の音が寄与した比率をβとするとき、
C1=S1+αS2
C2=S2+βS1であり、
S1=(C1-αC2)/(1-αβ)
S2=(C2-βC1)/(1-αβ)にもなる。
【0012】
前記第1方向性振動体の第1出力信号に、前記第2音源の音が寄与した比率は、前記第1方向性振動体と前記第2音源との角度によって決定され、前記第2方向性振動体の第2出力信号に、前記第1音源の音が寄与した比率は、前記第2方向性振動体と前記第1音源との角度によっても決定される。
【0013】
前記音源分離装置は、それぞれの方向性振動体に入射する音の方向によるそれぞれの方向性振動体の敏感度を保存したメモリをさらに含んでもよい。
【0014】
前記制御回路は、前記第1音源の方向を中心に、第1角度範囲内に配列された複数の方向性振動体のうち、前記第2音源の方向に対して最も敏感度が低い方向性振動体を、第1方向性振動体として選択し、前記第2音源の方向を中心に、第2角度範囲内に配列された複数の方向性振動体のうち、前記第1音源の方向に対して最も敏感度が低い方向性振動体を、第2方向性振動体として選択するようにも構成される。
【0015】
前記制御回路は、前記第1音源からの音が小さくなる時間の間、前記第2音源の方向を決定し、前記第2音源からの音が小さくなる時間の間、前記第1音源の方向を決定するようにも構成される。
【0016】
前記制御回路は、180°の角度範囲内に配列された複数の方向性振動体の出力信号の強度が、2個の以上のピークを有する場合、2個以上の音源が存在すると判断し、180°の角度範囲内に配列された複数の方向性振動体の出力信号の強度が1つのピークを有する時間の間、1つの音源の方向を決定するようにも構成される。
【0017】
前記制御回路は、前記複数の方向性振動体のうち、出力信号の強度が最大である方向性振動体の配置方向を、第1音源または第2音源の方向に決定するようにも構成される。
【0018】
前記制御回路は、前記複数の方向性振動体のうち、出力信号の強度が最小である方向性振動体の配置方向に垂直した方向を、第1音源または第2音源の方向に決定するようにも構成される。
【0019】
前記制御回路は、出力信号の強度が最小である方向性振動体に対し、+90゜に配置された方向性振動体の振動強度と、出力信号の強度が最小である方向性振動体に対し、-90゜に配置された方向性振動体の出力信号の強度とを比較し、出力信号の強度がさらに強い方向性振動体の配置方向を、第1音源または第2音源の方向に決定するようにも構成される。
【0020】
前記音源分離装置は、音が入力される方向と関係なく反応する無方向性振動体をさらに含んでもよい。
【0021】
前記制御回路は、出力信号の強度が最小である方向性振動体に対し、+90゜に配置された方向性振動体の位相と、振動強度が最小である方向性振動体に対し、-90゜に配置された方向性振動体の位相と、を前記無方向性振動体の位相と比較し、前記無方向性振動体の位相と最も近い位相を有する方向性振動体の配置方向を、第1音源または第2音源の方向に決定するようにも構成される。
【0022】
前記複数の方向性振動体と前記無方向性振動体は、同一平面上に配列され、前記複数の方向性振動体は、前記無方向性振動体を取り囲む形態にも配列される。
【0023】
前記複数の方向性振動体は、前記中心点に対して、所定の対称性を有するようにも配列される。
【0024】
前記音排出口は、前記複数の方向性振動体全体に対向するようにも形成される。
【0025】
前記音排出口は、前記複数の方向性振動体それぞれと対向する複数個にも具備される。
【0026】
前記複数の方向性振動体は、同一共振周波数を有することができる。
【0027】
前記複数の方向性振動体は、互いに異なる共振周波数を有する複数の方向性振動体を含んでもよい。
【0028】
他の実施形態による音源分離方法は、音引入口を介して音を受信し、音排出口を介して音を排出する段階と、前記音引入口と前記音排出口との間の平面において、前記音引入口の中心と鉛直に対向する前記平面上の中心点を取り囲む形態に配列されたものであり、前記音引入口に入力される音の方向により、選択的に1以上が反応するように構成された複数の方向性振動体の出力信号の強度を基に、互いに異なる第1音源と第2音源との方向を決定する段階と、前記第1音源からの音と、第2音源からの音とをそれぞれ分離して獲得するために、前記複数の方向性振動体のうち、互いに異なる第1方向性振動体と第2方向性振動体とを選択する段階と、前記第1方向性振動体と第2方向性振動体とを利用して音情報を獲得する段階と、を含んでもよい。
【0029】
さらに他の実施形態による音源分離装置は、1以上の命令を保存するメモリと、前記1以上の命令を遂行するプロセッサと、を含んでもよく、前記プロセッサは、音引入口と音排出口との間の平面において、前記音引入口の中心と鉛直に対向する前記平面上の中心点を取り囲む形態に配列されたものであり、前記音引入口に入力される音の方向により、選択的に1以上が反応するように構成された複数の方向性振動体の出力信号の強度を基に、互いに異なる第1音源と第2音源との方向を決定し、前記第1音源からの音と、第2音源からの音とをそれぞれ分離して獲得するために、前記複数の方向性振動体のうち、互いに異なる第1方向性振動体と第2方向性振動体とを選択し、前記第1方向性振動体と第2方向性振動体とを利用して音情報を獲得するようにも構成される。
【図面の簡単な説明】
【0030】
図1】一実施形態による音源分離装置の概略的な構成を示す平面図である。
図2図1に図示された音源分離装置に係わるA-A’断面図である。
図3A図1に図示された音源分離装置に具備された複数の方向性振動体のうち一つの構造を詳細に示す断面図である。
図3B図1に図示された音源分離装置に具備された複数の方向性振動体のうち一つの構造を詳細に示す平面図である。
図4】他の実施形態による音源分離装置の概略的な構成を示す平面図である。
図5図4に図示された音源分離装置に係わるA-A’断面図である。
図6】複数の方向性振動体のうち一部を例示し、方向性振動体の動作原理及び指向性利得特性を示す図面である。
図7】複数の方向性振動体のうち、1つの方向性振動体の指向性特性を例示的に示すグラフである。
図8】一方向から音が入力されたとき、音源分離装置に具備された全ての方向性振動体の出力を例示的に示すグラフである。
図9】2個の互いに異なる方向から音が入力されたとき、音源分離装置に具備された全ての方向性振動体の出力を例示的に示すグラフである。
図10】互いに異なる2つの音源から放出された音の波形を例示的に示す図面である。
図11A】多様な状況において音を分離するために、方向性振動体を選択する例を示す図面である。
図11B】多様な状況において音を分離するために、方向性振動体を選択する例を示す図面である。
図11C】多様な状況において音を分離するために、方向性振動体を選択する例を示す図面である。
図11D】多様な状況において音を分離するために、方向性振動体を選択する例を示す図面である。
図12】選択された方向性振動体の組み合わせによる音声認識テスト結果を例示的に示すグラフである。
図13】さらに他の実施形態による音源分離装置の概略的な構成を示す平面図である。
図14図13に図示された音源分離装置に係わるA-A’断面図である。
図15】一方向に音が入力されたとき、1つの無方向性振動体、及び互いに対向する2個の方向性振動体の振動位相を例示的に示すグラフである。
図16】一実施形態による事物インターネット(internet of things)装置の概略的な構成を示すブロック図である。
図17図16に図示された事物インターネット装置が日常生活に適用される動作を例示的に示す図面である。
図18】一実施形態による自動車音声インターフェース装置の概略的な構成を示すブロック図である。
図19】一実施形態による自動車音声インターフェース装置が自動車に適用された動作を例示的に示す図面である。
図20】一実施形態による空間録音(spatial recording)装置の概略的な構成を示すブロック図である。
図21】一実施形態による全方向カメラの概略的な構成を示すブロック図である。
【発明を実施するための形態】
【0031】
以下、添付された図面を参照し、音源分離装置及び音源分離方法について詳細に説明する。以下の図面において、同一参照符号は、同一構成要素を指し、図面上において、各構成要素の大きさは、説明の明瞭さと便宜さのために誇張されてもいる。また、以下で説明される実施形態は、単に例示的なものに過ぎず、そのような実施形態から、多様な変形が可能である。また、以下で説明する層構造において、「上部」であったり「上」であったりと記載された表現は、接触して真上にあるだけではなく、非接触で上にあるものも含んでもよい。
【0032】
図1は、一実施形態による音源分離装置の概略的な構成を示す平面図である。図2は、図1に図示された音源分離装置に係わるA-A’断面図である。図1及び図2を参照すれば、一実施形態による音源分離装置100は、音が入力される音引入口(inlet)134、音引入口134を介して入力された音が排出される音排出口(outlet)135、音引入口134と音排出口135との間に配列された複数の方向性振動体110_kを含んでもよい。ここで、複数の方向性振動体110_kの個数をNとするとき、kは、1からNまでの整数である。
【0033】
方向性振動体110_kの個数Nにより、音源分離装置100の物理的な角度分解能が決定される。例えば、音源分離装置100の物理的分解能は、360゜/Nとも表現される。音源分離装置100は、複数の方向性振動体110_kそれぞれの出力信号の強度を比較し、入射する音の方向を探知することができ、相互比較する方向性振動体110_kの個数が多くなるほど、さらに高い各分解能の獲得が可能である。
【0034】
複数の方向性振動体110_kは、音引入口134に入力される音の方向により、選択的に1以上が反応するように配列される。複数の方向性振動体110_kは、音引入口134周囲を取り囲む形態にも配列される。複数の方向性振動体110_kは、互いに重なることなしに平面的に配列され、音引入口134に対して、複数の方向性振動体110_k全体が露出されるようにも配列される。複数の方向性振動体110_kは、図1に図示されているように、同一平面上にも配列される。また、複数の方向性振動体110_kは、音引入口134の中心と鉛直に対向する前記平面上の中心点Cを取り囲む形態にも配列される。図1においては、複数の方向性振動体110_kが、中心点Cを円形で取り囲むように図示されているが、それは、単に例示的なものである。複数の方向性振動体110_k配列は、それに限定されるものではなく、中心点Cに対して所定の対称性を有する多様な形態にも配列される。例えば、複数の方向性振動体110_kは、多角形や楕円形の軌跡をなす形態にも配列される。本実施形態によれば、複数の方向性振動体110_kは、検出される音の周波数特性によって異なる構成を提供するように異なる平面上にも配列される。
【0035】
音排出口135は、複数の方向性振動体110_kの個数と同一個数に設けられ、複数の方向性振動体110_kのそれぞれと対向するようにも配置される。音引入口134と音排出口135との大きさや形状は、特別に制限されるものではなく、複数の方向性振動体110_kを同一程度に露出させることができる任意の大きさと形状とを有することができる。
【0036】
音引入口134と音排出口135との形成のために、音引入口134と音排出口135との形状に対応する開口が形成されたケース130が使用される。ケース130は、音響を遮断することができる多様な材質からもなる。例えば、ケース130は、アルミニウムのような材質が使用される。ケース130に形成された音引入口134と音排出口135は、図1に図示された形状に限定されるものではない。
【0037】
ケース130の内部には、複数の方向性振動体110_kを支持し、複数の方向性振動体110_kが音に反応して振動する空間を提供する支持部120が配置される。支持部120は、基板内にホールを形成しても設けられる。該ホールは、図1に図示されているように、基板に貫通ホールTHを形成しても設けられる。複数の方向性振動体110_kは、支持部120に一端が支持され、貫通ホールTHと対向するようにも配置される。貫通ホールTHは、方向性振動体110_kが、外力によって振動する空間を提供し、それを満足する限り、形状や大きさは、特別に限定されるものではない。支持部120は、シリコン基板など多様な材質によっても形成される。
【0038】
音源分離装置100は、複数の方向性振動体110_kの出力信号の強度を比較し、方位角方向に互いに異なる位置にある2個以上の音源の方向を探知し、探知された音源の方向を基に、音情報を獲得する方向性振動体110_kを選択する制御回路140をさらに含んでもよい。また、音源分離装置100は、音の入射方向によるそれぞれの方向性振動体110_kの敏感度のようなデータを保存するメモリ141をさらに含んでもよい。
【0039】
図3Aは、図1に図示された音源分離装置100に具備された複数の方向性振動体110_kのうち一つの構造を詳細に示す断面図であり、図3Bは、図1に図示された音源分離装置100に具備された複数の方向性振動体110_kのうち一つの構造を詳細に示す平面図である。図3A及び図3Bを参照すれば、方向性振動体110_kは、支持部120に固定される固定部10、信号に反応して稼動される稼動部30、及び稼動部30の動きをセンシングする感知部20を含んでもよい。方向性振動体110_kは、また、稼動部30に所定の質量mを提供するための質量体40をさらに含んでもよい。
【0040】
稼動部30は、例えば、弾性フィルムからもなる。該弾性フィルムは、長さL、幅Wを有することができ、質量体40の質量mと共に、方向性振動体110_kの共振特性を決定する要素になる。該弾性フィルムとしては、シリコン、金属、ポリマーなどの材質が使用される。一実施形態において、方向性振動体110_kの共振周波数は、異なる重量の質量体40を使用し、かつ/または方向性振動体110_kの長さを変更することによっても調節される。
【0041】
感知部20は、稼動部30の動きをセンシングするセンサ層を含んでもよい。感知部20は、例えば、圧電素子を含んでもよい。その場合、感知部20は、電極層、圧電物質層及び電極層が積層された構造を有することができる。該圧電物質としては、例えば、ZnO、SnO、PZT、ZnSnO、ポリフッ化ビニリデン(PVDF)、ポリ(フッ化ビニリデン-トリフルオロエチレン)(P(VDF-TrFE))、AlNまたはPMN-PTなどが使用される。該電極層として、金属材料や、それ以外にも多様な導電性材料が使用される。
【0042】
方向性振動体110_kの幅、厚みのような具体的な数値は、方向性振動体110_kに対して所望する共振周波数を考慮しても決定される。例えば、それぞれの方向性振動体110_kは、大体数μmから数百μmの幅、数μm以下の厚み、及び大体数mm以下の長さを有することができるが、それらに限定されるものではない。そのような微細サイズの方向性振動体110_kは、MEMS(micro electro mechanical system)工程によっても作製される。
【0043】
方向性振動体110_kは、外部信号に反応し、Z方向に沿って上下に振動し、変位(z)に比例する出力を示すことになる。変位(z)は、次の運動方程式による。
【0044】
【数1】
【0045】
ここで、cは、ダンピング係数(damping coefficient)であり、kは、弾性係数である。そして、Fcos ωtは、外力(driving force)であり、方向性振動体110_kに入射される信号による作用を示す。k値は、稼動部30の物性と形状とによって決定される。
【0046】
方向性振動体110_kは、共振周波数fを中心にし、所定のバンド幅を有する周波数応答特性を示す。共振周波数fは、次の通りである。
【0047】
【数2】
【0048】
そのように、音源分離装置100に具備された方向性振動体110_kは、設計された中心周波数を中心にする所定帯域の周波数を有する音を感知することができる。従って、中心周波数の設計において、与えられた環境において、活用性が高い周波数帯域を選択し、選択された周波数帯域に合うように、方向性振動体110_kを具現することができる。
【0049】
一実施形態による音源分離装置100は、各位置に具備された方向性振動体110_kが、いずれも同一共振周波数を有するように、同一長にも設定される。しかし、必ずしもそれに限定されるものではなく、複数の方向性振動体110_kが互いに異なる共振周波数を有するように変形することも可能である。
【0050】
また、図4は、他の実施形態による音源分離装置の概略的な構成を示す平面図であり、図5は、図4に図示された音源分離装置に係わるA-A’断面図である。図4及び図5を参照すれば、音源分離装置101は、音が入力される音引入口134、音引入口134を介して入力された音が排出される音排出口137、及び音引入口134と音排出口137との間に配列された複数の方向性振動体110_kを含んでもよい。ここで、複数の方向性振動体110_kの個数をNとするとき、kは、1からNまでの整数である。
【0051】
図4及び図5に図示された音源分離装置101は、音排出口137の形状において、図1及び図2に図示された音源分離装置100と違いがあり、残り構成は、実質的に同一である。例えば、音排出口137は、複数の方向性振動体110_kに対して、個別的に設けられるものではなく、1つの音排出口137が、複数の方向性振動体110_kに対して共有される形態を有する。言い換えれば、1つの音排出口137が、複数の方向性振動体110_k全体と対向する。図4及び図5に図示された音排出口137の大きさは、例示的なものであり、音排出口137の大きさは、それより小さくともよい。
【0052】
音引入口134と音排出口137との形成のために、音引入口134と音排出口137との形状に対応する開口が形成されたケース131が使用される。音排出口137の大きさは、特定されなくともよい。例えば、複数の方向性振動体110_kに対して、音引入口134向かい側の空間がいずれも開かれた形態にもなる。そのように、開かれた空間が音排出口137として機能することができる。
【0053】
前述の実施形態による音源分離装置100,101において、複数の方向性振動体110_kにおいて、方向性がある音が入射される経路に置かれている1以上の方向性振動体110_kが、音に反応して振動する。例えば、図2に図示されているように、丸1の経路で音が入力されれば、この経路上に置かれた方向性振動体110_1を含み、それと隣接した1以上の方向性振動体が振動することができる。また、丸2の経路で音が入力されれば、この経路上に置かれた方向性振動体110_9を含み、それと隣接した1以上の方向性振動体が振動することができる。従って、入射された音の方向による複数の方向性振動体110_kの出力を考慮し、入射された音の方向を知ることができる。
【0054】
一実施形態において、方向性振動体の変位は、音引入口134の大きさと、音排出口135との大きさとの関係によっても異なる。例えば、音排出口135が音引入口134より大きい場合、音が入力される方向に対して180°方向にある方向性振動体110_9の変位は、0°の方向から入力された音に応答する方向性振動体110_1の変位よりも大きくなる。他の実施形態において、音引入口134の大きさが、音排出口135の大きさと同一である場合、0°の方向(すなわち、方向性振動体110_1)から入力された音に応答して発生した出力は、180°の方向(すなわち、方向性振動体110_9)から入力された音に応答して発生した出力と同一であろう。
【0055】
図6は、複数の方向性振動体110_kのうち一部を例示し、方向性振動体110_kの動作原理及び指向性利得特性を示す。図6を参照すれば、複数の方向性振動体A,B,Cのそれぞれは、音引入口134を中心とする円の半径方向の指向角を有する単位音響センサになる。それぞれの単位音響センサの指向性利得曲線は、8字(figure of eight)形態になる。そのような指向性利得曲線により、音源分離装置100,101は、全方向から入力される信号に対して選択的に反応する方向性振動体110_kの出力が重畳(superposition)されて形成された出力を有することになる。
【0056】
一方、それぞれの方向性振動体110_kは、その配置位置によって好む角度があり、それを主要方向(principal direction)という。出力形成において、主要方向の音については、大きく寄与し、それ以外の方向の音については、小さく寄与する。従って、あらゆる、任意の方向に入射された音に対して、複数の方向性振動体110_kそれぞれの出力サイズを単純に比較することにより、入射された音の方向を推定することができる。
【0057】
図7は、複数の方向性振動体110_kのうち1つの方向性振動体の指向性特性を例示的に示すグラフである。図7において、64個の方向性振動体110_kが1つの平面上で円形に配列されており、それぞれの方向性振動体110_kは、音引入口134の中心と鉛直に対向する前記平面上の中心点Cに向けて整列されていると仮定した。しかし、方向性振動体110_kの個数は、64に限定されるものではなく、実際には、64個より多くの個数の方向性振動体110_kが使用されてもよい。図7を参照すれば、180°方向に配置された方向性振動体は、180°と0°との方向から入射する音に対して最大の出力を有し、-90°と+90°との方向から入射する音に対して最小出力を有する8字形利得特性を示す。特に、180°方向から入射する音に対する出力が、0°方向から入射する音に対する出力より若干大きい。
【0058】
図8は、一方向から音が入力されたとき、音源分離装置100,101に具備された全方向性振動体110_kの出力を例示的に示すグラフである。図8において、64個(図中、横軸のチャネル)の方向性振動体110_kが配列されており、1番から64番までの方向性振動体が、0°方向から時計回り方向に沿って配列されており、180°方向に位置した33番方向性振動体の長手方向に沿い、33番方向性振動体に向けて音が入射すると仮定した。図8を参照すれば、1番方向性振動体近辺と、その反対側に配置された33番方向性振動体近辺とにおいて、それぞれ出力のピークが形成される。そして、1番方向性振動体の+90°方向に配置された17番方向性振動体近辺と、1番方向性振動体の-90°方向に配置された49番方向性振動体近辺とにおいて、出力が最小になる。特に、33番方向性振動体近辺において、出力が最も大きい。
【0059】
結果として、複数の方向性振動体110_kにおいて、音が入射する側に配置された方向性振動体の出力が最も大きく、音が入射する方向の±90°角度に配置された方向性振動体の出力が最も小さい。従って、音源分離装置100,101の制御回路140は、出力が最大である方向性振動体、または出力が最も小さい方向性振動体を利用し、入力される音の方向、言い換えれば、音源の方向を決定することができる。
【0060】
例えば、制御回路140は、複数の方向性振動体110_kにおいて、出力信号の強度が最大である方向性振動体の配置方向を、音源の方向に決定することができる。代わりに、制御回路140は、複数の方向性振動体110_kにおいて、出力信号の強度が最小である方向性振動体の配置方向に垂直の方向を、音源の方向に決定することができる。特に、制御回路140は、信号の強度が最小である方向性振動体に対し、+90゜に配置された方向性振動体の振動強度と、出力信号の強度が最小である方向性振動体に対し、-90゜に配置された方向性振動体の出力信号の強度とを比較し、出力信号の強度がさらに強い方向性振動体の配置方向を音源の方向と決定することができる。
【0061】
方位角方向に互いに異なる位置にある2個の音源から同時に音が入射する場合には、2つの音源の出力が経時的に違いがある点を利用し、2音源の方向を知ることができる。例えば、2つの音源のうち第1音源の出力が小さくなり、第2音源の出力が大きくなる時間の間、前述の方法により、第2音源の方向を決定することができる。そして、2つの音源のうち第1音源の出力が大きくなり、第2音源の出力が小さくなる他の時間の間、前述の方法により、第1音源の方向を決定することができる。
【0062】
例えば、図9は、2個の互いに異なる方向から音が入力されたとき、音源分離装置100,101に具備された全方向性振動体110_kの出力を例示的に示すグラフである。図9においては、64個の方向性振動体110_kが配列されており、1番から64番までの方向性振動体が、0°方向から時計回り方向に沿って配列されていると仮定した。そして、180°方向に位置した33番方向性振動体の長手方向に沿い、33番方向性振動体に向け、第1音源から音が入射し、それと同時に、90°方向に位置した17番方向性振動体の長手方向に沿い、17番方向性振動体に向け、第2音源から他の音が入射すると仮定した。言い換えれば、第1音源が180°方向に位置し、第2音源90°方向に位置すると仮定した。
【0063】
図9を参照すれば、第1音源による方向性振動体110_kの出力を示すグラフIは、1番方向性振動体近辺と、その反対側に配置された33番方向性振動体近辺とにおいて、それぞれ出力のピークが形成され、17番方向性振動体近辺と、49番方向性振動体近辺とにおいて、出力が最小になる。第2音源による方向性振動体110_kの出力を示すグラフIIは、17番方向性振動体近辺と、その反対側に配置された49番方向性振動体近辺とにおいて、それぞれ出力のピークが形成され、1番方向性振動体近辺と、33番方向性振動体近辺とにおいて出力が最小になる。
【0064】
第1音源と第2音源とから同時に同一強度の音が入力されれば、方向性振動体110_kの出力は、グラフIとグラフIIとを合わせたグラフIIIのようになる。結果として、180°の角度範囲内において、多数のピークが形成される。従って、制御回路140は、方向性振動体110_kの出力を分析し、180°の角度範囲内に配列された複数の方向性振動体110_kの出力信号の強度が、2個の以上のピークを有する場合、2個以上の音源が存在すると判断することができる。または、制御回路140は、方向性振動体110_kの出力において明らかなピークと、明らかな最小点とを求めることができない場合、2個以上の音源が存在すると判断することができる。
【0065】
第1音源と第2音源とからそれぞれ来る音の強度は、経時的に大きくなったり小さくなったりする。例えば、図10は、互いに異なる2つの音源から放出された音の波形を例示的に示す。図10に図示されているように、第1音源からの音と、第2音源からの音は、経時的に大きくなったり小さくなったりすることを反復する。そして、第1音源の音が小さくなると共に、第2音源の音が大きくなり、第2音源の音が小さくなると共に、第1音源の音の大きくなる瞬間が存在する。例えば、図10において、時間Tの間には、第1音源の音が小さく、第2音源の音が大きい。そして、時間Tの間には、第2音源の音が小さく、第1音源の音が大きい。
【0066】
それにより、制御回路140は、時間Tの間、第2音源の方向を決定し、時間Tの間、第1音源の方向を決定することができる。例えば、制御回路140は、方向性振動体110_kの出力を分析し、180°の角度範囲内に配列された複数の方向性振動体110_kの出力信号の強度が、1つの明らかなピークと、1つの明らかな最小点とを有する時間の間、1つの音源の方向を決定することができる。図9のグラフを参照すれば、方向性振動体110_kの出力が、グラフIIIからグラフIに変わる瞬間、制御回路140は、第1音源の方向を決定することができる。そして、方向性振動体110_kの出力が、グラフIIIからグラフIIに変わる瞬間、制御回路140は、第2音源の方向を決定することができる。
【0067】
第1音源の方向と第2音源との方向を決定した後、制御回路140は、複数の方向性振動体110_kにおいて、第1音源からの音情報を獲得するための方向性振動体と、第2音源からの音情報を獲得するための方向性振動体とを選択することができる。特に、制御回路140は、第1音源からの音と、第2音源からの音とをそれぞれ効果的に分離して獲得することができるように、2個の方向性振動体を選択することができる。
【0068】
図7に図示されているように、方向性振動体は、その長手方向に来る音に対して最も敏感である。そして、方向性振動体の長手方向と、音の方向との角度差が大きくなるほど、方向性振動体の敏感度がだんだんと低くなり、方向性振動体の長手方向に垂直に来る音に対して、方向性振動体の敏感度が最小になる。図7の例において、方向性振動体の長手方向を中心に±30°までは、方向性振動体の敏感度が大きく低くならず、およそ±60°ほどにおいて、およそ-5dBほどに敏感度が低くなる。そして、±90°ほどにおいては、およそ-15dB未満に敏感度が低くなる。そのような方向性振動体の方向性特性を考慮し、クロストークを最小化させることができるように、方向性振動体を選択することができる。
【0069】
例えば、図11Aないし図11Dは、多様な状況において音を分離するために、方向性振動体を選択する例を示す。図11Aないし図11Dにおいて、線形に表示された領域A,Bは、選択された方向性振動体が音を好ましく獲得することができる角度範囲を示す。
【0070】
まず、図11Aは、ただ1つの音源が0°方向に配置された場合である。その場合には、複数の方向性振動体110_kにおいて、簡単に音源の方向に配置された方向性振動体を選択し、音情報を獲得することができる。図11Aにおいて、放射方向に延長された複数の線分は、複数の方向性振動体110_kを示し、そのうち点線で表示されたものは、選択された方向性振動体を示す。
【0071】
また、図11Bは、第1音源と第2音源とが互いに90°離れている場合である。その場合にも、複数の方向性振動体110_kにおいて、第1音源の方向に配置された第1方向性振動体を選択し、第1方向性振動体の出力信号を基に、第1音源からの音情報を獲得することができる。そして、複数の方向性振動体110_kにおいて、第2音源の方向に配置された第2方向性振動体を選択し、第2方向性振動体の出力信号を基に、第2音源からの音情報を獲得することができる。その場合、第1音源からの音の方向は、第2方向性振動体の長手方向に垂直であるので、第1音源の音が、第2方向性振動体に与える影響は小さい。同様に、第2音源からの音の方向は、第1方向性振動体の長手方向に垂直であるので、第2音源の音が、第1方向性振動体に与える影響は小さい。従って、第1音源と第2音源とが互いに90°以上離れていれば、制御回路140は、複数の方向性振動体110_kにおいて、第1音源の方向に対して、最も敏感度が高い方向性振動体を、第1方向性振動体として選択し、複数の方向性振動体110_kにおいて、第2音源の方向に対して、最も敏感度が高い方向性振動体を、第2方向性振動体として選択することができる。
【0072】
図11Cは、第1音源と第2音源との角度が90°未満である場合である。例えば、図11Cにおいて、第1音源と第2音源との角度は60°でもある。図11Cの例においては、図11Bの例と同様に、複数の方向性振動体110_kにおいて、第1音源の方向に配置された第1方向性振動体を選択し、第1音源の音情報を獲得し、第2音源の方向に配置された第2方向性振動体を選択し、第2音源の音情報を獲得した。言い換えれば、複数の方向性振動体110_kにおいて、第1音源の方向に対して、最も敏感度が高い方向性振動体を、第1方向性振動体として選択し、複数の方向性振動体110_kにおいて、第2音源の方向に対して、最も敏感度が高い方向性振動体を、第2方向性振動体として選択した。
【0073】
しかし、図11Cのように、第1音源と第2音源との角度が90°未満である場合にも、敏感度が最大である方向性振動体を選択すれば、干渉が大きくなり、音源分離が十分になされない。例えば、選択された第1方向性振動体で受信される第2音源の音が大きくなり、選択された第2方向性振動体で受信される第1音源の音が大きくなりもする。それにより、第1方向性振動体及び第2方向性振動体においてそれぞれ受信された音にノイズが増加することになる。
【0074】
図11Dは、第1音源と第2音源との角度が60°である場合、図11Cと異なる方式により、方向性振動体を選択した例を示す。図11Dの場合には、目標音源以外の音源に対し、敏感度が最も小さい方向性振動体を選択した。例えば、複数の方向性振動体110_kにおいて、第1音源の音を十分に獲得することができ、第2音源に対して敏感度が最も低い方向性振動体を、第1方向性振動体として選択し、第1音源の音情報を獲得し、第2音源の音を十分に獲得することができ、第1音源に対して敏感度が最も低い方向性振動体を、第2方向性振動体として選択し、第2音源の音情報を獲得することができる。
【0075】
言い換えれば、制御回路140は、第1音源の方向を中心に、所定の角度範囲内に配列された複数の方向性振動体110_kにおいて、第2音源の方向に対して、最も敏感度が低い方向性振動体を、第1方向性振動体として選択することができる。また、制御回路140は、第2音源の方向を中心に、所定の角度範囲内に配列された複数の方向性振動体110_kにおいて、第1音源の方向に対して、最も敏感度が低い方向性振動体を、第2方向性振動体として選択することができる。図11Dの例において、第1方向性振動体として、+30°方向に位置した方向性振動体を選択し、第2方向性振動体として、-120°方向に位置した方向性振動体を選択した。それにより、第1方向性振動体は、第2音源に対して、90°離れ、第2方向性振動体も第1音源に対して、90°離れることになる。
【0076】
第1方向性振動体と第2方向性振動体とを選択した後には、第1方向性振動体と第2方向性振動体とを利用し、第1音源の音と第2音源の音とをそれぞれ獲得することができる。第1方向性振動体の出力信号をC1、第2方向性振動体の出力信号をC2、第1音源の音信号をS1、第2音源の音信号をS2とするとき、図11Aの場合には、C1=S1になる。
【0077】
そして、図11Bの場合には、C1=S1+1/10×S2及びC2=1/10×S1+S2にもなる。ここで、1/10は、図7に図示された例において、方向性振動体の方向性を基に、例示的に決定されたものであり、方向性振動体の方向性特性によっても、その値は、異なる。図11Bの場合、第1方向性振動体で受信される第2音源の音は、第1音源の音の1/10ほどであるので、十分に音源分離される。
【0078】
図11Cの場合には、C1=S1+1/2×S2及びC2=1/2×S1+S2にもなる。ここにおいても、1/2は、図7に図示された例において、方向性振動体の方向性を基に、例示的に決定されたものであり、方向性振動体の方向性特性によっても、その値は、異なる。図11Cの場合、C1において、S1とS2とが占める比率が、2:1であるために、音源分離が十分になされない。
【0079】
図11Dの場合には、C1=4/5×S1+1/10×S2及びC2=1/10×S1+4/5×S2にもなる。ここにおいて、4/5と1/10は、図7に図示された例において、方向性振動体の方向性を基に、例示的に決定されたものであり、方向性振動体の方向性特性によっても、その値は、異なる。図11Dの場合、C1において、S1とS2とが占める比率が8:1であるので、十分に音源分離される。
【0080】
図12は、選択された方向性振動体の組み合わせによる音声認識テスト結果を例示的に示すグラフである。該音声認識テストは、第1音源と第2音源とにおいて、多数の単語を込められた音をそれぞれ出力し、選択された方向性振動体を介して、不正確に認識した単語の個数の比率を測定する方式によって遂行された。最も左側のグラフは、図11Aの場合であり、不正確に認識した比率(word error rate)は、約25.5%である。図11Aは、1つの音源のみを使用したために、2個の音源を使用する場合、干渉の影響を示す基準にもなる。左側から2番目グラフは、図11Bの場合であり、不正確に認識した比率が約29.7%と、基準より若干上昇した。左側から3番目グラフは、図11Cの場合であり、不正確に認識した比率が約67.9%と基準より大きく上昇した。そして、最も右側のグラフは、図11Dの場合であり、不正確に認識した比率が約31.1%であり、図11Bの場合と類似した結果を示した。従って、目標音源以外の音源について、敏感度が最も小さい方向性振動体を選択することにより、十分に音源分離されるということが分かる。
【0081】
そのような音源分離装置100,101は、複雑な演算処理を必要とせず、複数の方向性振動体110_kだけで、ハードウェア的に簡単に互いに異なる2個の音源からの音を分離することができる。従って、音源分離装置100,101は、小型化が可能で小型電子製品に搭載することができる。本実施形態による音源分離装置100,101を搭載した電子製品は、騷音がある環境にもユーザの音源を比較的正確に分離することができる。
【0082】
以上では、1つの音源について、ただ1つの方向性振動体のみを選択し、音情報を獲得すると説明したが、必ずしもそれに限定されるものではない。必要によっては、1つの音源について隣接した1以上の方向性振動体、例えば、続けて隣接した2個または3個の方向性振動体を選択し、音情報を獲得することができる。その場合にも、音源が2個以上存在する場合、目標音源以外の音源について、敏感度が最も小さい方向性振動体のグループを選択することができる。
【0083】
また、以上では、別途のソフトウェア的な信号処理なしに、ただ選択された方向性振動体の出力信号だけで、音源を分離して音情報を獲得すると説明した。例えば、第1音源について選択された第1方向性振動体の出力信号から、第1音源の音情報を獲得し、第2音源について選択された第2方向性振動体の出力信号から、第2音源の音情報を獲得した。しかし、ソフトウェア的に、第1方向性振動体の出力信号と、第2方向性振動体の出力信号とを演算し、音源を分離することも可能である。例えば、図11Cの例において、C1=S1+1/2×S2及びC2=1/2×S1+S2であるので、連立方程式を解き、C1をS1だけで表現することができ、C2をS2だけで表現することができる。具体的に解けば、C1’=C1-1/2×C2=3/4×S1になり、C2’=C2-1/2×C1=3/4×S2になる。
【0084】
従って、第1音源について選択された第1方向性振動体の出力信号に、第2音源の音が寄与する比率、及び第2音源について選択された第2方向性振動体の出力信号に、第1音源の音が寄与する比率を知ることができれば、制御回路140は、第1方向性振動体の出力信号と、第2方向性振動体の出力信号とを演算し、第1音源の音情報と、第2音源の音情報とを獲得することができる。さらに一般的に表現すれば、第1方向性振動体の出力信号をC1、第2方向性振動体の出力信号をC2、第1音源の音信号をS1、第2音源の音信号をS2、第1方向性振動体の出力信号に、第2音源の音が寄与した比率をα、第2方向性振動体の出力信号に、第1音源の音が寄与した比率をβとするとき、
C1=S1+αS2及び
C2=S2+βS1であり、
S1とS2とをC1とC2とで示せば、
S1=(C1-αC2)/(1-αβ)及び
S2=(C2-βC1)/(1-αβ)になる。
【0085】
ここで、αとβは、入射する音の方向による、第1方向性振動体と第2方向性振動体との固有敏感度特性としてあらかじめ測定して知ることができる。例えば、第1方向性振動体と第2音源との角度により、α値が決定され、第2方向性振動体と、第1音源のとの角度により、β値が決定される。もし音源分離装置100,101内の全方向性振動体110_kが同一方向性特性を有するものであるならば、αとβは、同一値を有する。しかし、方向性振動体110_kの方向性特性が互いに異なれば、αとβは、異なる値を有する。
【0086】
メモリ141には、それぞれの方向性振動体に入射する音の方向によるそれぞれの方向性振動体の敏感度に対する既測定値が保存される。例えば、メモリ141には、それぞれの方向性振動体に入射する音の入射角と、それに対応する敏感度値の対が保存される。それにより、制御回路140は、メモリ141に保存された方向性振動体の敏感度特性から、αとβとを求め、それを基に、第1方向性振動体の出力信号と、第2方向性振動体の出力信号とを演算し、第1音源の音情報と、第2音源の音情報とを獲得することができる。従って、複数の方向性振動体110_kにおいて、目標音源の方向に対して、最も敏感度が高い方向性振動体を選択した後、ソフトウェア的な信号処理を介し、音源を分離することもできる。
【0087】
図13は、さらに他の実施形態による音源分離装置の概略的な構成を示す平面図であり、図14は、図13に図示された音源分離装置に係わるA-A’断面図である。図13及び図14を参照すれば、音源分離装置103は、音が入力される方向と関係なく反応する無方向性振動体115をさらに含んでもよい。図13及び図14に図示された音源分離装置103の残り構成は、図4及び図5に図示された音源分離装置101の構成と同一でもある。
【0088】
無方向性振動体115は、例えば、音排出口137内にも配置され、複数の方向性振動体110_kと同一平面上に位置することができる。その場合、複数の方向性振動体110_kは、無方向性振動体115を取り囲む形態にも配列される。しかし、無方向性振動体115が配置される位置は、必ずしもそれに限定されるものではなく、多様な他の位置に、無方向性振動体115を配置することもできる。例えば、ケース131外部に、無方向性振動体115が位置することもできる。
【0089】
無方向性振動体115は、方向性振動体110_kと異なり、全方向から入力される音に対してほぼ同一出力を有することができる。そのために、無方向性振動体115は、円形薄膜の形態を有することができる。無方向性振動体115が、音排出口137内に配置される場合、円形の無方向性振動体115の中心と、音排出口137の中心点とが一致するように、無方向性振動体115が配置される。
【0090】
一方、無方向性振動体115の出力は、音の入力方向と関係なく一定であるが、無方向性振動体115の振動位相は、音が入力される方向によっても異なる。例えば、図14に概略的に図示されているように、無方向性振動体115の振動位相は、方向性振動体110_kのうち音が入力される方向に配置された方向性振動体110_1の振動位相と同一でもある。また、無方向性振動体115の振動位相は、方向性振動体110_kのうち音が入力される方向と反対方向に配置された方向性振動体110_9の位相と反対でもある。
【0091】
図15は、一方向に音が入力されたとき、1つの無方向性振動体115、及び互いに対向する2個の方向性振動体110_1,110_9の振動位相を例示的に示すグラフである。例えば、方向性振動体110_1と方向性振動体110_9とが互いに対向して配置されており、方向性振動体110_1から方向性振動体110_9への方向に音が入力されると仮定する。それにより、図15に図示されているように、方向性振動体110_1の振動位相は、方向性振動体110_9の振動位相と180°反対である。そして、無方向性振動体115の振動位相は、方向性振動体110_1の振動位相と同一であり、方向性振動体110_9の振動位相と180°反対である。
【0092】
従って、無方向性振動体115の振動位相と、方向性振動体110_kの振動位相とを参照し、音源の方向を正確に探知することも可能である。例えば、制御回路140は、複数の方向性振動体110_kにおいて、出力信号の強度が最小である方向性振動体を選択する。そして、制御回路140は、出力信号の強度が最小である方向性振動体に対して+90゜に配置された方向性振動体の位相と、出力信号の強度が最小である方向性振動体に対して-90゜に配置された方向性振動体の位相とを無方向性振動体115の位相と比較する。その後、制御回路140は、無方向性振動体115の位相と最も近い位相を有する方向性振動体の配置方向を、音源の方向と決定することができる。
【0093】
以上で説明した実施形態による音源分離装置100,101,102,103は、多様な電子装置にも適用される。音源分離装置100,101,102,103は、チップソリューション(chip solution)形態のセンサに具現され、モバイル機器、IT、家電、自動車などの分野において、複数音源の追跡、ノイズ除去、空間録音(spatial recording)などを行うことができ、パノラマ撮影、拡張現実(augmented reality)、仮想現実(virtual reality)の分野にも活用可能である。
【0094】
以下では、前述の音源分離装置100,101,102,103を活用する電子装置について説明する。
【0095】
図16は、一実施形態による事物インターネット(internet of things)装置の概略的な構成を示すブロック図であり、図17は、図16に図示された事物インターネット装置が日常生活に適用される動作を例示的に示す。
【0096】
事物インターネット装置200は、ユーザが提供する音声信号を受信する音源分離装置210、音源分離装置210で受信した信号を入力変数として使用する1以上のアプリケーションモジュール232が保存されたメモリ230、アプリケーションモジュール232を実行するプロセッサ220を含む。事物インターネット装置200は、また、通信部250を含んでもよい。
【0097】
事物インターネット装置200は、回転または移動のような駆動が可能な駆動機器240をさらに含んでもよい。駆動機器240は、音源分離装置210で受信した信号を入力変数にして実行されたアプリケーションモジュール232の実行結果により、決められた方向に回転または移動の駆動が制御される。回転や移動の方向は、例えば、音源分離装置210でセンシングした音の方向を向くか、あるいはそれを回避する方向でもある。駆動機器240は、アプリケーションモジュール232の実行結果をユーザに出力することができる出力機能を有するようにも具現される。駆動機器240は、例えば、スピーカやディスプレイのような出力装置でもある。音源分離装置210としたのは、前述の実施形態による音源分離装置100,101,102,103のうちいずれか一つ、またはそれらが変形されたり組み合わされたりする構造が採用される。
【0098】
プロセッサ220は、事物インターネット装置200の全般的な動作を制御することができる。音源分離装置210、駆動機器240、通信部250の動作を制御することができ、関連制御信号を活用し、メモリ230に保存されたプログラムを実行することができる。メモリ230には、また、制御信号により、駆動機器240を所定方向に回転または移動させるようにプログラムされた駆動機器制御モジュール234が具備される。駆動機器制御モジュール234は、音源分離装置210でセンシングされた信号、及びそれと連繋されたアプリケーション実行結果を反映させ、駆動機器240が音源分離装置210でセンシングした音の方向を向くが、あるいはそれを回避する方向に回転または移動されるように、駆動機器240を制御することができる。それは、例示的なものであり、音源分離装置210でセンシングされた信号を反映させたアプリケーション実行結果による駆動機器制御方向は、多様に変化されるのである。
【0099】
メモリ230には、また、音源分離装置210で受信した信号が有効な入力信号であるか否かということを、方向性と連繋して学習するようにプログラムされた学習モジュール236がさらに具備されてもよい。学習モジュール236は、例えば、音源分離装置210でセンシングした音の方向性と、有効信号であるか否かということとを判断した結果を反復して学習データとして生成して累積し、累積された学習データから統計的な特徴を抽出することにより、特定方向から入力される音は、有効信号ではないとして処理することができる。例えば、ユーザの声と異なる方向からの音をノイズとして処理することもでき、または互いに異なる方向にいる複数ユーザの声をそれぞれ分離して認識することができる。また、メモリ230には、それら以外にも、事物インターネット装置200の全般的な動作をプロセッサ220で制御するのに必要な多様なプログラム及びデータが保存される。
【0100】
メモリ230は、例えば、フラッシュメモリタイプ、ハードディスクタイプ、マルチメディアカードマイクロタイプ、カードタイプのメモリ(例えば、SDメモリまたはXDメモリなど)、RAM(random access memory)、SRAM(static random access memory)、ROM(read-only memory)、EEPROM(electrically erasable programmable read-only memory)、PROM(programmable read-only memory)、磁気メモリ、磁気ディスク、光ディスクのうち少なくとも1つのタイプの記録媒体を含んでもよい。
【0101】
通信部250は、ブルートゥース(登録商標)(Bluetooth(登録商標))通信、BLE(Bluetooth low energy)通信、近距離無線通信(near field communication unit)、WLAN(wireless local area network)通信、ジグビー(ZigBee(登録商標))通信、赤外線(IrDA:infrared data association)通信、WFD(Wi-Fi direct)通信、UWB(ultra wideband)通信、Ant+通信、WiFi(wireless fidelity)通信の方法を利用し、外部機器と通信することができるが、それらに制限されるものではない。
【0102】
図17を参照すれば、事物インターネット装置200に具備される駆動機器240は、回転自在な構成のスピーカにとして例示されている。以下の説明は、駆動機器240において、スピーカを例示して説明するが、駆動機器240は、それに限定されるものではない。事物インターネット装置200は、入力される音信号S1,S2の方向性を判断し、それに向かう方向にスピーカを回転させることができる。また、事物インターネット装置200は、同時に入力される2個の音信号S1,S2を効率的に分離することができる。
【0103】
事物インターネット装置200は、入力される音信号S1,S2のうち有効な信号を識別することができる。例えば、ユーザUからの音信号S1と、ユーザではない音源NUからの音信号S2とを分離して認識することができる。そのような区別は、入力された音の方向性と連繋し、有効信号であるか否かということを学習することによって可能である。それにより、例えば、TV(television)のように、固定された特定位置の方向から有効ではない信号が持続的に入力されることを、学習を介して判断した後、入力された音信号S1,S2のうち有効信号である音信号S2の方向にスピーカを回転させることができ、また、音信号S2と係わるアプリケーションを実行することができる。そのような事物インターネット装置200は、人工知能スピーカに活用され、それ以外にも、多様な事物に適用され、当該事物が有する固有機能の活用度を高めることができる。
【0104】
また、図18は、一実施形態による自動車音声インターフェース装置の概略的な構成を示すブロック図であり、図19は、一実施形態による自動車音声インターフェース装置が自動車に適用された動作を例示的に示す。
【0105】
図18を参照すれば、自動車音声インターフェース装置300は、音源分離装置310及び有効信号抽出モジュール350を含む。有効信号抽出モジュール350は、有効信号抽出のための処理過程に係わるプログラムが保存されたメモリと、それを実行するプロセッサによっても具現される。音源分離装置310としては、前述の実施形態による音源分離装置100,101,102,103のうちいずれか一つ、またはそれらが変形されたり組み合わされたりする構造が採用される。
【0106】
有効信号抽出モジュール350は、音源分離装置310で受信した信号を、その方向性により、有効な信号であるか否かということを判断し、有効な信号である場合、それを自動車制御モジュールに伝達することができる。有効信号抽出モジュール350は、多様な方向から入力された音のうち、運転手の方向以外の方向性を有する音信号を分離した後、ノイズとして除去し、自動車制御モジュールに伝達することができる。
【0107】
図19を参照すれば、自動車400に具備された音源分離装置310は、運転手DRからの音信号S1と、乗客PAからの音信号S2,S3,S4とを分離して感知する。音源分離装置310は、受信された音信号S1,S2,S3,S4の方向性を区分し、音信号S1,S2,S3,S4をそれぞれ分離して感知された結果を、有効信号抽出モジュール350に伝達することができる。有効信号抽出モジュール350は、運転手DRによる音信号S1のみを自動車制御モジュール420に伝達することができる。
【0108】
図20は、一実施形態による空間録音(spatial recording)装置の概略的な構成を示すブロック図である。図20を参照すれば、一実施形態による空間録音装置500は、音源分離装置510、音源分離装置510でセンシングした信号を分析し、音源分離装置510に入射された音の方向性を判断するプロセッサ520、並びにプロセッサ520の信号処理のためのプログラム、及び前記プロセッサの実行結果が保存されるメモリ530を含んでもよい。音源分離装置510としては、前述の実施形態による音源分離装置100,101,102,103のうちいずれか一つ、またはそれらが変形されたり組み合わされたりする構造が採用される。音源分離装置510は、周辺音を、方向性と結びつけて録音することができる。音源分離装置510は、高分解能で音の入力方向を推定することができる。
【0109】
空間録音装置500は、音の入力方向を推定した結果を活用し、所望する音源についてのみ選択的に録音するか、あるいは互いに異なる方向にある音源の音を分離し、それぞれ個別的に録音することも可能である。空間録音装置500は、録音された音を、ル方向性に合わせて再生するように、多チャネルスピーカ550をさらに含んでもよい。プロセッサ520は、メモリ530に保存されたオーディオ信号が、方向性に合わせて再生されるように、多チャネルスピーカ550を制御することができる。録音された音源を、方向性に合わせて再生することにより、録音されたコンテンツ(contents)の臨場感を増強させ、没入感、実際感を向上させることができる。そのような空間録音装置500は、拡張現実または仮想現実装置にも活用される。
【0110】
また、図21は、一実施形態による全方向カメラの概略的な構成を示すブロック図である。図21を参照すれば、一実施形態による全方向カメラ600は、全方向に置かれた客体に対するパノラマ撮影が可能なカメラである。全方向カメラ600は、音源分離装置610、全方向(omnidirectional)撮影モジュール640、音源分離装置610でセンシングした方向性音信号と、全方向撮影モジュール640で撮影した全方向映像信号とが整合するように、音源分離装置610と全方向撮影モジュール640とを制御するプロセッサ620、及び方向性音信号及び全方向映像信号を保存するメモリ630を含んでもよい。音源分離装置610は、前述の実施形態による音源分離装置100,101,102,103のうちいずれか一つであるか、あるいはそれらが変形されたり組み合わされたりする構造を有することができ、全方向からの音を感知し、互いに異なる方向からの音を分離することができる。
【0111】
全方向撮影モジュール640として、一般的なパノラマ撮影モジュールが使用される。例えば、360°回転自在な本体内に、光学レンズやイメージセンサのような構成が具備された全方向撮影モジュール640が採用される。プロセッサ620の制御により、音源分離装置610でセンシングされた信号のうち、全方向撮影モジュール640での撮影方向に該当する方向の音のみを分離し、選択的にメモリ630に保存される。そのように、全方向カメラ600により、360゜パノラマ映像信号と、映像に整合する音信号とがメモリ630に保存される。そのような映像/音情報は、多チャネルスピーカが具備されたディスプレイ装置によって再生され、臨場感を極大化することができ、また、拡張現実/仮想現実装置にも活用される。
【0112】
一実施形態によれば、前述の音源分離装置とその方法とがICA、GSS、DNNのような技術と結合してハイブリッド技術が可能である。例えば、前述の音源分離装置の結果がICA、GSS、DNNの分析方法と結合し、正確性のような測定特性をさらに向上させるところにも使用される。
【0113】
前述の実施形態による電子装置は、プロセッサ、プログラムデータを保存して実行するメモリ、ディスクドライブのような永久保存部(permanent storage)、外部装置と通信する通信ポート、タッチパネル・キー(key)・ボタンのようなユーザインターフェース装置などを含んでもよい。
【0114】
前述の実施形態による電子装置において、ソフトウェアモジュールまたはアルゴリズムによって具現される方法は、前記プロセッサ上で実行可能なコンピュータで読み取り可能なコードまたはプログラム命令として、コンピュータで読み取り可能な記録媒体上にも保存される。ここで、コンピュータで読み取り可能な記録媒体として、マグネチック記録媒体(例えば、ROM、RAM、フロッピー(登録商標)ディスク、ハードディスクなど)、及び光学的判読媒体(例えば、CD-ROM(compact disc read only memory)、DVD(digital versatile disc))がある。該コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータシステムに分散され、分散方式でコンピュータで読み取り可能なコードが保存されて実行される。該媒体は、コンピュータによって読み取り可能であり、メモリに保存され、プロセッサによっても実行される。
【0115】
以上、音源分離装置及び音源分離方法は、図面に図示された実施形態を参照に説明されたが、前述のように、1つの共振器のみを有する共振構造でも代替される。また、前述の実施形態は、例示的なものに過ぎず、当該分野で当業者であるならば、それらから多様な変形が可能であるという点を理解するであろう。従って、開示された実施形態は、限定的な観点ではなく、説明的な観点から考慮されなければならない。本明細書の権利範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、権利範囲に含まれたものであると解釈されなければならないのである。
【産業上の利用可能性】
【0116】
本発明の、音源分離装置及び音源分離方法は、例えば、音声認識関連の技術分野に効果的に適用可能である。
【符号の説明】
【0117】
100,101,102,103 音源分離装置
110_k,110_i_k 方向性振動体
115 無方向性振動体
120 支持部
130,131 ケース
134 音引入口
135,137 音排出口
140 制御回路
141 メモリ
200 事物インターネット装置
300 自動車音声インターフェース装置
500 空間録音装置
600 全方向カメラ
図1
図2
図3A
図3B
図4
図5
図6
図7
図8
図9
図10
図11A
図11B
図11C
図11D
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21